AI 보컬 리무버를 드디어 사용해봤어요: 트랙 분리에 대해 배운 점

Source: Dev.to

나는 2000년대 중반에 처음으로 노래에서 보컬을 제거하려고 시도했을 때를 아직도 기억한다. 나는 깨진 버전의 오디오 소프트웨어와 포럼에서 찾은 튜토리얼을 들고 있던 야심찬 청소년이었다. 그 기술은 phase cancellation(위상 소거)이라고 불렸다. 왼쪽 채널을 반전시키고, 오른쪽 채널과 겹쳐서 메인 보컬이 정확히 중앙에 믹스되어 있기를 기도해야 했다.

결과는? 스네어 드럼이 사라지고, 리버브가 물속에 있는 듯한 유령 같은 빈 인스트루멘털이었다. 기술적으로는 “보컬 제거”였지만 실제로는 쓸 수 없었다.

오늘날로 와서 상황은 완전히 바뀌었다. 나는 최근 주말을 할애해 현재 AI Vocal Remover(AI 보컬 제거) 기술의 현황을 깊이 파고들어 보았다. 리믹스와 곡 구조 분석을 사랑하는 사람으로서, 이 기술이 실제 창작 작업에 충분히 쓸만한가가 궁금했다.

내부 구조: 실제 작동 방식

현대 도구가 내 옛날 위상 소거 트릭보다 왜 나은지 이해하려면 기술을 살펴봐야 한다. 이제는 단순히 주파수를 빼는 것이 아니라 수천 시간 분량의 오디오로 학습된 source‑separation 모델을 사용한다.

이 개념은 종종 “Cocktail Party Effect”(칵테일 파티 효과)와 비교된다—시끄러운 방에서 인간 두뇌가 하나의 목소리에 집중할 수 있는 능력. 초기 AI 시도는 스펙트로그램(오디오 주파수의 시각적 표현)을 보고 이를 재현하려 했다.

2019년, Deezer는 Spleeter라는 오픈소스 라이브러리를 공개했으며, 이는 사실상 이 기술을 민주화했다. 발표 논문에 따르면, 이들은 U‑Net 신경망을 훈련시켜 각 소스(보컬, 드럼, 베이스)의 “soft mask”(부드러운 마스크)를 효율적으로 추정한다. 완벽하지는 않았지만 빠르고 접근성이 좋았다.

최근에는 Meta(Facebook) 연구진이 Demucs를 통해 한 단계 더 나아갔다. 이전 모델이 스펙트로그램만 보던 것과 달리, Demucs는 원시 파형(raw waveform) 위에서 직접 작동하는 하이브리드 아키텍처를 사용한다. Facebook AI Research 팀이 설명하길, 이는 “큰 크래시 심벌에 묻혀 사라졌을 수도 있는 부드러운 피아노 음을 재합성”하게 해 주어, 단순히 오디오를 잘라내는 것이 아니라 재구성한다는 뜻이다.

나의 “아하!” 순간

나는 복잡한 트랙—베이스가 무겁고, 호른이 풍부하며, 보컬 멜로디가 기타 주파수 대역을 오가던 펑크 곡—에 대해 몇 가지 로컬 설치 버전과 웹 기반 래퍼를 테스트해 보기로 했다.

Demucs 아키텍처 기반 보컬 제거기를 사용해 트랙을 처리했다. 전체 과정은 약 40초가 걸렸다.

Vocals 스템을 솔로로 들어보니 정말 충격적이었다. 가수의 숨소리까지 살아 있었고, 리버브 테일도 갑자기 끊기지 않았다. 진짜 마법은 Instrumental 스템이었다. 보통 보컬을 제거하면 “artifact”(인공적인 잡음)—컴퓨터가 보컬 뒤에 무엇이 있었는지 추측하면서 생기는 물 같은 디지털 왜곡—가 남는다.

고음 모니터에서는 아직 약간의 artifact가 보였지만, 일반적인 믹스에서는 10시간 동안 EQ 작업을 수작업으로 했을 때보다 훨씬 깨끗했다.

이것이 바로 MusicAI 분야가 실험적인 코드에서 DAW 워크플로에 바로 들어갈 수 있는 실용적인 플러그인으로 변모한 순간이다.

크리에이터를 위한 실용적인 활용 사례

그렇다면 금요일 밤 파티용 카라오케 트랙을 만들기 위한 것이 아니라, 우리에게 왜 중요한가?

• Harmony Analysis – 격리된 보컬 스템을 사용해 백킹 하모니를 공부했다. 드럼과 베이스를 없애면 코드 보이싱이 어떻게 쌓이는지 정확히 들을 수 있다. 놀라운 귀 훈련 도구다.
• Sampling for Beats – 프로듀서에게는 킥 드럼이 섞여 있지 않은 깨끗한 베이스라인을 추출하는 것이 성배다. 나는 70년대 소울 트랙에서 4마디 베이스 루프를 격리했는데, 스튜디오 준비가 된 수준이었다.
• Remixing – 깨끗한 아카펠라는 부트leg 리믹스를 위한 전투의 90 %에 해당한다. AI 분리는 보컬에 숨겨진 배경 노이즈를 크게 증폭시키지 않으면서 압축과 딜레이를 추가할 수 있을 정도로 깨끗했다.

인간 vs. AI 균형

하지만 현실을 말하자면, 이것이 마법은 아니다.

AI가 인상적이긴 하지만 “밀도 높은” 믹스에서는 여전히 어려움을 겪는다. 강하게 압축된 현대 팝이나 메탈 트랙은 모델이 풀어내기 힘들다. 또한 하이햇이 보컬 트랙에 섞이는 경우가 많다—두 요소가 비슷한 고주파(시빌런스)를 공유하기 때문이다.

그리고 윤리·법적 문제도 있다. 보컬을 격리할 수 있다고 해서 그 보컬을 소유하게 되는 것은 아니다. 크리에이터로서 우리는 저작권을 존중해야 한다. 나는 이 도구들을 교육 목적, 개인 연습, 혹은 허가받은 리믹스에만 사용해야 한다고 본다.

결론

주말 실험을 통해 우리는 위상 소거 시절을 훨씬 넘어섰음을 확인했다. AI 보컬 제거는 장난감 수준을 넘어 뮤지션과 개발자에게 실질적인 유틸리티가 되었다. 우리는 사랑하는 음악을 해부해 어떻게 만들어졌는지 이해할 수 있게 되었다.

아직 이 도구들을 사용해 보지 않았다면, Spleeter나 Demucs의 GUI 래퍼를 다운로드해 가장 좋아하는 곡을 한번 실행해 보라. 음악을 만들지 않더라도, 밴드와 완전히 분리된 가수를 듣는 경험은 오히려 아름답다.

AI는 올바르게 사용될 때 아티스트를 대체하는 것이 아니라, 그들의 작품을 새로운 시각으로 감상하게 해 주는 또 다른 렌즈가 된다.