MUSIC PRODUCTION

디지털 오디오와 AI 도구 — 규격부터 복원·스템 분리까지

junetapa 2026.10.19 업데이트 12 min read

샘플 레이트와 비트 뎁스를 어떻게 잡을지, 스트리밍 서비스가 소리를 어떻게 재생하는지, AI 복원·스템 분리 도구가 어디까지 해 주는지를 한 번에 정리했습니다. 도구 이름과 규격은 2026년 10월 19일 각 회사 공식 문서에 적힌 그대로 옮겼고, 출처는 글 끝 «참고 자료»에 모았습니다.

디지털 오디오 기초 — 샘플 레이트와 비트 뎁스

숫자 두 개가 정하는 것

디지털 오디오는 소리의 파형을 일정한 간격으로 재서 숫자로 저장합니다. 1초에 몇 번 재느냐가 샘플 레이트, 한 번 잴 때 몇 단계로 나누느냐가 비트 뎁스입니다. 샘플 레이트의 절반이 담을 수 있는 가장 높은 주파수(나이퀴스트 주파수)이고, 비트 뎁스가 클수록 가장 작은 소리와 가장 큰 소리 사이의 폭이 넓어집니다.

  • CD 규격은 44.1kHz·16비트이고, 담을 수 있는 주파수 상한은 그 절반인 22.05kHz입니다.
  • 영상·방송과 함께 쓰는 소리는 48kHz로 맞추는 경우가 많습니다.
  • 정수 PCM은 1비트마다 약 6dB씩 폭이 늘어, 16비트는 이론상 약 96dB, 24비트는 약 144dB입니다.
  • 32비트 부동소수점은 DAW 안의 계산과 중간 파일에 쓰는 형식으로, 0dBFS를 넘는 값도 잘리지 않고 남습니다.
먼저 알아 둘 것

숫자를 키운다고 정보가 생기지 않는다 — 44.1kHz·16비트 파일을 192kHz·24비트로 바꿔도 원래 없던 고음이나 세부가 생기지 않습니다. 파일 크기만 커집니다.

업샘플 파일 알아보기 — 스펙트럼 분석기로 보면 원래 샘플 레이트의 절반 근처에서 고음이 끊긴 모양이 보이는 경우가 있습니다. 다만 마스터링 과정에서 일부러 고음을 깎은 곡도 있어, 이 모양 하나로 단정하지는 않습니다.

AI로 소리 재료 만들기

연구용 공개 모델과 상용 서비스는 쓸 수 있는 범위가 다르다

문장을 넣으면 소리를 만들어 주는 생성 모델이 연구와 상용 서비스 양쪽에 나와 있습니다. 같은 «AI 샘플»이라도 공개 연구 모델인지, 이용 약관이 붙은 서비스인지에 따라 곡에 넣어 팔 수 있는지가 갈립니다.

TOOLS

AudioLDM 2 — 2023년 arXiv에 공개된 연구 모델입니다. 효과음·음악·음성을 하나의 틀로 만들도록 설계됐고, 논문은 text-to-audio·text-to-music·text-to-speech 평가 결과를 함께 실었습니다.

Meta AudioCraft — 효과음용 AudioGen과 음악용 MusicGen의 코드를 공개한 라이브러리입니다. 코드와 모델 가중치의 라이선스가 따로 적혀 있어, 쓰기 전에 둘 다 확인해야 합니다.

ElevenLabs Sound Effects — 문장으로 효과음과 앰비언트 소리를 만드는 상용 서비스입니다.

Magenta Studio — Google Magenta가 만든 Ableton Live용 MIDI 플러그인입니다. Continue·Groove·Generate·Drumify·Interpolate 다섯 도구가 들어 있고, 소리가 아니라 MIDI 패턴을 만듭니다.

만든 소리를 곡이나 영상에 넣기 전에는 그 서비스의 상업 이용 조건부터 봅니다. 작곡 서비스의 요금제별 조건은 AI 작곡 도구 2026 글에 표로 정리돼 있습니다.

시퀀싱 — DAW 안의 연주·코드 보조 기능

곡을 대신 쓰기보다 «따라 치는» 기능

DAW에 들어간 AI 기능은 곡을 처음부터 써 주기보다, 사람이 정한 코드와 구조를 따라 연주를 채우는 쪽에 가깝습니다. 아래 이름은 각 회사 공식 페이지에 적힌 그대로입니다.

  • Logic Pro 12 — Session Players(신스·피아노·베이스·드럼 연주자)가 코드 트랙을 따라 연주하고, Chord ID가 곡의 어느 부분에서든 코드를 찾아 줍니다.
  • FL Studio 2026 — Gopher는 질문에 답하고 기능을 조작하는 AI 어시스턴트이고, Loop Starter는 서로 맞는 루프와 원샷 묶음을 프로젝트에 넣어 줍니다.
  • Cubase Pro 15 — 기존 코드 트랙·편곡 도구에 더해, 도움말에 Stem Separation 기능이 실려 있습니다.

세 DAW의 작곡 쪽 기능 비교는 AI 작곡 도구 2026의 «DAW 안의 AI» 절에 더 자세히 있습니다. 믹싱 단계 기능은 AI 믹싱·편곡 가이드가 다룹니다.

오디오 편집 — 스템 분리와 말소리 편집

스템 분리는 DAW 기본 기능이 됐다

섞인 음원을 보컬·드럼·베이스 같은 갈래로 나누는 스템 분리는 이제 별도 프로그램 없이 DAW 안에서 쓸 수 있습니다. 나누는 갈래 수는 도구마다 다릅니다.

  • Logic Pro 12 Stem Splitter — 드럼·베이스·보컬·기타·피아노·그 밖의 악기로 나눕니다.
  • FL Studio 2026 Stem Separation — 베이스·신스·드럼·보컬 층을 뽑아냅니다(공식 표현 «AI-powered»).
  • Cubase Pro 15 Stem Separation — 보컬·드럼·베이스·그 밖의 악기 네 갈래로 나눕니다.
  • iZotope RX 12 — Music Rebalance·Dialogue Isolate 등으로 나눈 뒤 Stems View에서 갈래마다 다른 복원 도구를 겁니다.
  • 공개 도구 — Deezer의 Spleeter(2·4·5 스템 모델), Meta의 Demucs 4판(Hybrid Transformer 방식)이 코드로 공개돼 있습니다.
말소리 편집

Descript — 녹음을 받아쓴 글에서 문장을 지우면 그 부분 오디오가 함께 잘리는 방식입니다. «음·어» 같은 군말을 한꺼번에 지우는 기능과, 배경 소음·울림을 줄이는 Studio Sound가 있습니다.

분리한 스템의 권리는 원본을 따라갑니다. 남의 곡을 분리해 만든 보컬이나 드럼은 분리했다고 권리가 사라지지 않으므로, 공부용과 발매용을 나눠 관리합니다.

작업 단계별 샘플 레이트·비트 뎁스

녹음은 넉넉하게, 내보내기는 받는 곳 규격에 맞춰

규격은 «높을수록 좋다»가 아니라 단계마다 목적이 다릅니다. 같은 프로젝트 안에서는 샘플 레이트를 하나로 정해 두고, 변환은 마지막에 한 번만 하는 것이 기본입니다.

  • 녹음 — 24비트로 받으면 16비트보다 바닥 잡음까지 여유가 커서 입력 레벨을 조금 낮게 잡아도 됩니다. 샘플 레이트는 44.1kHz나 48kHz로 시작하고, 영상과 함께 쓸 소리는 48kHz로 맞춥니다.
  • 믹싱 — DAW 안 계산은 32비트 부동소수점으로 두고, 중간 바운스도 32비트 부동소수점이나 24비트로 남깁니다.
  • 내보내기 — 음원 유통사·영상 플랫폼이 안내하는 규격을 확인하고 거기에 맞춥니다. 16비트로 줄일 때는 디더를 한 번 겁니다.
버퍼와 지연 계산

지연(ms) = 버퍼 크기(샘플) ÷ 샘플 레이트 × 1000. 48kHz에서 128샘플이면 약 2.7ms, 512샘플이면 약 10.7ms입니다. 이 값은 한 방향 기준이고, 드라이버와 변환기 지연은 따로 더해집니다. 녹음할 때는 버퍼를 작게, 플러그인을 많이 거는 믹싱 때는 크게 둡니다.

AI 오디오 복원과 노이즈 제거

말소리에 강하고, 악기에는 약하게

신경망을 쓰는 복원 도구는 말소리의 잡음과 울림을 줄이는 데 특히 쓸모가 큽니다. 아래는 각 회사가 공식 페이지에서 설명하는 기능입니다.

TOOLS

iZotope RX 12 — Advanced·Standard·Elements 세 판이 있습니다. Spectral De-noise 같은 기존 복원 도구에, 신경망을 다듬어 분리 결과의 잡음을 줄였다는 설명이 붙어 있습니다.

Adobe Enhance Speech — 웹에서 말소리 녹음을 올리면 정리해 주는 Adobe의 무료 AI 필터입니다.

Descript Studio Sound — 배경 소음과 방 울림을 줄여 줍니다.

NVIDIA Broadcast — 마이크 입력의 배경 소음과 방 울림을 실시간으로 걸러 내는 앱입니다(공식 표현 «use AI»).

악기 녹음에 복원을 세게 걸면 잔향 끝이나 숨소리처럼 남겨야 할 부분까지 깎일 수 있습니다. 원본은 따로 남기고, 강도를 낮춰 여러 번 들어 보며 비교합니다.

포맷과 스트리밍 재생 규격

파일 형식과 재생 음량 기준을 따로 본다

  • WAV·AIFF — 압축하지 않은 원본(녹음·마스터 보관용)
  • FLAC·ALAC — 무손실 압축(보관·무손실 스트리밍)
  • AAC·Ogg Vorbis·MP3 — 손실 압축(일반 스트리밍·미리 듣기)
스트리밍 공식 안내 (2026년 10월 19일 확인)

Spotify 음질 — 웹 플레이어는 무료 AAC 128kbit/s, Premium AAC 256kbit/s입니다. 앱의 «매우 높음»은 약 320kbit/s, Lossless는 최대 24비트·44.1kHz FLAC에 해당합니다.

Spotify 라우드니스 정규화 — 기본값은 ITU 1770 기준 −14dB LUFS이고, 듣는 사람이 «크게»(−11)나 «작게»(−19)를 고를 수 있습니다. 이 설정은 무손실 재생에도 같이 적용됩니다.

Apple Music — 무손실과 Hi-Res Lossless 재생을 지원하며, 48kHz보다 높은 샘플 레이트로 들으려면 외부 DAC가 필요하다고 안내합니다.

정규화는 재생할 때 음량을 맞추는 처리라서, 마스터를 기준보다 크게 만들면 재생 때 그만큼 줄어듭니다. 서비스마다 «몇 LUFS로 맞추라»는 숫자가 떠돌지만, 공식 문서로 확인되는 값만 기준으로 삼는 편이 안전합니다.

자동 처리에서 조심할 것

«AI가 알아서»를 그대로 믿기 전에

  • 업샘플링이나 «AI 리마스터»는 원본에 없던 고음을 추정해 채우는 처리입니다. 결과가 원본보다 정확하다는 뜻은 아닙니다.
  • Logic Pro의 Mastering Assistant, FL Studio의 AI 마스터링 같은 자동 마스터링은 출발점으로 쓰고, 레퍼런스 곡과 같은 음량으로 맞춰 비교합니다.
  • 노이즈 제거는 한 번 세게보다 약하게 여러 번이 덜 티 납니다.
  • 단계마다 파일 이름에 샘플 레이트·비트 뎁스를 적어 두면 변환을 두 번 하는 실수를 줄일 수 있습니다.
이번 판에서 고친 것 (2026.10.19)

공식 문서에서 이름을 찾지 못한 기능(«Cubase MIDI Remote AI», «FL Studio AI Score Logger», «CEDAR AI Suite» 등)과 근거 없는 수치(작업 시간 90% 절감, 대역폭 50% 절감 등), 플랫폼별 LUFS 숫자 일부를 뺐습니다. iZotope RX는 현재 판(12)으로 고쳤습니다.

참고 자료

함께 보면 좋은 글

AI 작곡 도구 2026 — Suno·AIVA 요금과 상업 이용 조건, DAW 내장 AI.

AI 믹싱·편곡 가이드 — 스템을 받아 믹싱하는 과정.

홈스튜디오 녹음과 AI 도구 — 방 측정·보컬 컴핑·지연 줄이기.

AI 사운드 디자인 도구 — 신스 패치·효과음 생성·공간 음향.

디지털오디오 AI워크플로우 샘플링 시퀀싱 오디오편집 마스터링 하이레즈
junetapa(박준철)
AI 도구를 직접 써보고 솔직한 경험을 공유하는 개발자 겸 음악 크리에이터.
Twitter Facebook URL 복사