Suno AI로 만든 곡을 악보와 반주로 분리하는 방법
제가 요즘 Suno AI로 곡 만드는 재미에 푹 빠져 살고 있어요! 😊 정말 신기하게도 몇 문장만 입력하면 뚝딱 근사한 노래가 만들어지더라고요. 그런데 이렇게 만든 곡을 보컬 연습용으로 쓰거나, 밴드 친구들과 함께 연주하고 싶을 때가 생기지 않나요? 그럴 때마다 '아... 이 곡 악보가 있었으면', '보컬만 쏙 빼고 반주만 들을 수 있으면 얼마나 좋을까?' 하고 생각하곤 했답니다.
솔직히 말해서, 음악 전공자도 아닌데 악보를 직접 그리거나, 복잡한 프로그램을 다루는 건 엄두가 안 나더라고요. 다행히 요즘 AI 기술이 정말 발전해서, 이런 고민을 해결해 줄 수 있는 멋진 자동화 도구들이 많이 생겼더라고요! 저처럼 AI 음악을 좀 더 다채롭게 활용하고 싶은 분들을 위해, Suno AI로 만든 MP3나 WAV 파일에서 자동으로 악보를 추출하고, 악기별로 데이터를 분리해서 반주용 음악을 만드는 방법을 자세히 알려드릴게요. 같이 한번 알아볼까요? 🎶
악기 분리, AI가 멀티트랙을 뚝딱! 🔊
여러 악기가 섞인 음악에서 보컬이나 특정 악기 소리만 쏙 빼내는 기술을 소스 분리(source separation) 또는 스템 분리(stem separation)라고 불러요. 예전에는 스튜디오에서 녹음할 때만 가능했던 작업인데, 요즘은 딥러닝 기반의 AI 덕분에 일반인도 손쉽게 할 수 있게 되었죠. 마치 곡을 해체해서 다시 조립하는 느낌이랄까요?
이런 악기 분리 작업을 도와주는 대표적인 도구로는 Spleeter와 Demucs 같은 오픈소스 프로그램이 있어요. 그 외에도 LALAL.AI, Moises 같은 편리한 웹 서비스들도 있고요. 하나씩 어떤 특징이 있는지 살펴볼게요!
악기 분리 도구들은 보통 분리된 악기 트랙을 WAV 오디오 파일 형태로 제공해요. Spleeter는 16-bit 44.1kHz WAV를, Demucs는 32-bit 부동소수점 WAV를 출력한답니다.
Spleeter: 빠르고 간편한 분리의 시작
Spleeter는 Deezer에서 2019년에 공개한 딥러닝 기반 오픈소스 라이브러리예요. 사용법이 정말 간단하고, 무엇보다 처리 속도가 엄청 빠르다는 장점이 있어요! GPU를 사용하면 실시간의 100배 속도로 분리된다니, 정말 대단하죠?
Spleeter는 미리 학습된 모델을 통해 2스템, 4스템, 5스템 분리를 지원해요. 예를 들어, 2스템 모델은 보컬과 반주로, 4스템은 보컬, 드럼, 베이스, 그리고 기타/기타 악기로 분리해 준답니다. 5스템 모델에서는 여기에 피아노를 별도로 분리할 수도 있어요. 하지만 Spleeter에는 한계점도 있어요. 같은 스템 범주에 속하는 악기들은 구분하지 못한다는 거죠. 예를 들어, 두 대의 일렉 기타가 동시에 연주되면 둘 다 '기타/기타 악기(other)' 스템에 섞여 나오기 때문에, 이 안에서 특정 기타 하나만 분리하는 건 기본 모델로는 불가능해요. 그래도 보컬이나 드럼, 베이스처럼 주요 파트별로 분리하기엔 정말 유용하답니다!
Spleeter는 MIT 라이선스로 무료로 제공되어서, 파이썬이나 GUI 프로그램을 통해 쉽게 사용할 수 있어요. 저도 처음에는 이걸로 보컬 없는 반주를 많이 만들었답니다.
Demucs: 최고 품질의 악기 분리
Demucs는 Facebook(현재 META)에서 만든 오픈소스 AI 모델인데, 요즘 소스 분리 분야에서 최고 성능으로 꼽히는 도구예요. Spleeter보다 훨씬 자연스럽고 고품질의 분리 결과를 얻을 수 있다는 게 가장 큰 장점이죠. 특히 보컬이나 드럼 같은 소리를 원음에 가깝게 분리해줘서, 결과물이 정말 깔끔하답니다.
기본적으로 보컬, 드럼, 베이스, 그리고 기타/그 외 악기의 4스템 분리를 지원해요. 최신 버전(v4)에서는 Transformer 기술까지 도입해서 성능을 더욱 향상시켰다고 하네요. 다만, Demucs는 연산 요구량이 높아서 처리 속도가 느리고 GPU 메모리도 많이 사용하는 편이에요. 그럼에도 Meta에서 오픈소스로 무료 공개했으니, 정말 좋은 선택지죠! Spleeter와 마찬가지로 한 스템 내의 여러 악기는 한 트랙에 섞여 나온다는 점은 염두에 두셔야 해요.
LALAL.AI & Moises: 편리한 웹 서비스
컴퓨터에 프로그램을 설치하는 게 부담스럽다면, LALAL.AI나 Moises 같은 웹 기반 서비스를 이용해 보세요. 파일을 업로드만 하면 AI가 알아서 악기들을 분리해서 제공해 준답니다.
- LALAL.AI: 이 서비스는 뛰어난 성능과 편리함으로 인기가 많아요. 특히 최신 Orion 엔진은 무려 8개의 스템까지 분리할 수 있다는 사실! 보컬, 반주, 드럼, 베이스, 피아노, 어쿠스틱 기타, 일렉트릭 기타까지 7가지 스템을 각각 분리할 수 있고, 곧 신디사이저, 관악기, 현악기 등도 추가될 예정이라고 해요. 이건 정말 특정 악기만 따로 추출하고 싶을 때 유용하겠죠? 일정 분량까지는 무료 체험이 가능하지만, 추가 분리 작업은 유료 결제(분당 요금제)로 이용해야 합니다.
- Moises: 모바일/웹 앱 형태로 제공되는 음악 연습 및 리믹스 도구예요. 업로드한 노래를 AI가 분석하여 보컬, 드럼, 베이스, 기타, 키보드(건반) 등으로 분리해주며, 필요에 따라 특정 악기만 솔로로 듣거나 음소거할 수 있어요. 추가적으로 자동 코드 검출, BPM 및 키 검출, 템포/피치 변경 등의 부가기능도 있어서 음악 연습하기에 정말 좋답니다. Moises는 기본적으로 부분 무료(freemium)로 이용할 수 있지만, 프리미엄 구독을 하면 더 많은 기능을 사용할 수 있어요.
분리된 오디오 트랙에는 간혹 미세한 잔여물(artifact)이 남을 수 있어요. 원곡에서 해당 악기와 섞여있던 소리가 완벽히 지워지지 않거나 디지털 노이즈가 들릴 수도 있답니다. 이런 부분은 곡의 믹싱 상태나 AI 모델에 따라 차이가 있을 수 있으니, 여러 도구를 시도해서 가장 깨끗한 결과물을 선택하는 것이 좋아요.
오디오 ↔ 악보 자동 변환: AI 채보의 세계 🎹
이제 악기 분리를 통해 원하는 파트의 오디오를 얻었다면, 이걸 악보로 바꿔야겠죠? 오디오 파일을 자동으로 악보로 변환하는 것을 자동 채보 또는 오디오-악보 변환(자동 전사)이라고 불러요. 이 기술은 아직 완벽하진 않지만, 최근에는 AI 기반의 보조 도구들이 꽤 괜찮은 MIDI나 악보 추출을 해내고 있답니다.
AnthemScore: 오디오를 악보로 바로!
AnthemScore는 AI 기반 자동 채보 소프트웨어로, 오디오 파일을 넣으면 알고리즘이 자동으로 악보를 생성해 주는 프로그램이에요. 사용법도 간단해서 음원 파일을 불러오기만 하면 곡을 분석해서 바로 오선보로 보여준답니다. 생성된 악보를 MIDI로 재생해서 원본과 비교해 들을 수도 있으니, 정말 편리하죠?
정확도도 비교적 높은 편이라고 해요. 물론 완벽하진 않아서 오류가 생길 수도 있지만, 내장된 에디터로 음표를 추가하거나 삭제하고, 높이를 바꾸거나, 박자와 조표를 변경하는 등 직접 수정할 수 있어요. 여러 악기가 포함된 곡도 화음과 멀티 트랙을 어느 정도 인식하지만, 단일 악기나 단순한 구성일수록 정확도가 훨씬 높아진다고 하니 참고하세요!
AnthemScore는 윈도우, 맥, 리눅스에서 모두 사용할 수 있고, 30일 무료 평가판을 제공해요. 이후에는 라이트 버전 약 30달러, 프로 버전 50달러 안팎으로 비교적 저렴하게 구매할 수 있답니다.
Melodyne: 음표 하나하나 정밀하게!
Melodyne은 원래 보컬 피치 수정 같은 오디오 편집 소프트웨어인데, 오디오의 피치/음표 정보를 추출해서 MIDI로 변환하는 기능도 제공해요. 특히 고급 버전의 DNA (Direct Note Access) 기술은 여러 음이 동시에 연주되는 폴리포닉 오디오에서도 개별 음표를 인식하고 조작할 수 있어서 정말 획기적이라고 할 수 있죠.
기타 코드나 피아노 화음 녹음에서 각각의 음 높이를 분석해서 분리해주고, 사용자는 각 음을 개별적으로 드래그해서 피치나 길이를 수정할 수 있어요. 이렇게 추출된 노트들은 MIDI 파일로 내보내기해서 다른 가상악기로 재생하거나 악보 프로그램에 불러와서 사용할 수 있답니다. Melodyne은 자동 채보 프로그램은 아니지만, 숙련되면 아주 정확한 노트 검출이 가능해서 반자동 채보 작업에 유용해요.
정확도는 입력 음악의 종류에 따라 차이가 큰데, 단선율 보컬이나 독주 악기 멜로디는 거의 완벽하게 음높이를 잡아내지만, 복잡한 합주곡은 어려울 수 있어요. Melodyne은 악보를 직접 출력하진 못하고 MIDI로만 추출하므로, 결과 MIDI를 뮤즈스코어(MuseScore) 같은 악보 프로그램에 가져와서 오선보로 만들어야 해요.
Basic Pitch: Spotify의 똑똑한 AI 모델
Basic Pitch는 2022년에 Spotify가 공개한 오픈소스 오디오-미디 변환 AI 모델이에요. 웹 데모와 파이썬 라이브러리로 제공되는데, 거의 모든 악기나 보컬 녹음을 업로드하면 해당 MIDI 파일을 출력해 준답니다. 기타의 벤드나 비브라토까지 포착할 정도로 정밀한 피치 인식이 가능하고, 다른 모델들보다 다양한 음색에 대한 범용성과 높은 정확도가 장점이라고 해요.
특히 단일 악기의 멜로디나 화음 연주를 MIDI로 옮길 때 효과적이고, 결과 MIDI를 바로 DAW나 악보 소프트웨어에 넣어서 활용할 수 있어요. 완전 무료 오픈소스이니 개발자나 연구 목적으로도 많이 사용된답니다. 다만, GUI 프로그램 형태가 아니라 웹사이트나 파이썬 환경을 이용해야 한다는 점은 일반 사용자에게는 조금 부담스러울 수 있어요.
자동 악보 추출 기술은 아직 완벽하지 않아요. 그래서 추출된 악보는 반드시 사람이 다시 검토하고 수정해야 가장 좋은 품질을 얻을 수 있답니다. 특히 여러 악기가 동시에 연주되는 복잡한 곡일수록 잘못 인식되거나 누락되는 음표, 리듬 오류 등이 생길 수 있어요.
나만의 Suno AI 곡, 반주와 악보로 만들기! 🎛️➡🎼
이제 위에 소개된 악기 분리 및 악보 추출 도구들을 이용해서 Suno AI로 만든 내 곡을 반주와 악보로 만드는 전체 과정을 단계별로 정리해볼게요. 차근차근 따라오시면 누구나 할 수 있답니다!
📝 단계별 워크플로우
- 오디오 입력 준비: Suno AI 등으로 생성된 원본 곡 오디오 파일(예: WAV/MP3)을 준비합니다. 가능하면 무손실(WAV)이나 고음질 파일이 분석 정확도에 유리합니다. 또, 악보로 추출하고 싶은 부분(예: 보컬 멜로디)이 명확히 들리는 곡을 선택합니다.
- 악기별 스템 분리: 준비된 오디오를 악기 분리 도구에 입력하여 멀티트랙 스템을 얻습니다. 사용 목적에 따라 적절한 도구를 선택합니다:
- 보컬 제거 후 반주 생성이 주목적이면 Spleeter의 2-스템 모델로 바로 보컬과 반주 트랙을 얻을 수 있습니다. 이렇게 추출된 반주 트랙은 곧 카라오케용 반주음악으로 활용할 수 있습니다.
- 곡에 여러 악기가 있고 각 악기별로 분석/편집을 하고 싶다면 4-스템 또는 5-스템 분리를 합니다. 예를 들어 Demucs를 이용해 보컬, 드럼, 베이스, 기타/기타악기로 분리하거나 , Spleeter 5-스템으로 보컬, 드럼, 베이스, 피아노, 기타기타로 분리할 수 있습니다. 웹 서비스를 활용할 경우, LALAL.AI에서 보컬, 드럼, 베이스, 피아노 등을 각각 추출하거나 Moises 앱에서 보컬/드럼/베이스/기타/키보드 스템을 얻을 수 있습니다. 분리 결과로 얻은 WAV파일들을 각각 저장합니다.
- 필요한 반주 트랙 생성: 2단계에서 얻은 스템 중 반주로 사용할 트랙을 결정합니다. 만약 이미 반주(Instrumental) 스템이 추출되었다면 그 파일을 그대로 사용하면 됩니다. 예를 들어 Spleeter 2스템의 accompaniment.wav 출력은 바로 반주음원입니다. 4스템 분리의 경우 보컬을 제외한 나머지 스템들을 믹싱하여 합성하면 반주가 됩니다. 이때 DAW를 사용해 스템들을 불러와 합쳐도 되고, 간단히 커맨드라인 툴(ffmpeg 등)이나 Python으로 믹스다운할 수도 있습니다. 목표가 보컬이 제거된 연주 음원이라면 이렇게 얻은 반주 트랙을 최종 사용하면 됩니다.
- MIDI/악보 추출: 분리된 스템 중에서 악보로 채보하고 싶은 파트를 선택합니다. 일반적으로는 리드 멜로디(보컬 선율 또는 주요 솔로 악기)를 악보화하길 원할 것입니다. 해당 스템 오디오를 가지고 위의 악보 추출 도구를 사용합니다.
- 손쉽게 전체 악보를 얻고 싶으면 AnthemScore에 스템 오디오를 넣고 분석을 시작합니다. 완료 후 표시된 악보에서 옥타브나 음표가 잘못된 부분을 수정하고, MusicXML 또는 MIDI로 저장합니다.
- 멜로디 파트의 정확한 음높이와 길이가 중요하다면 Melodyne에 해당 오디오를 불러 교정합니다. Melodyne이 인식한 노트들을 확인하며 필요하면 수동으로 맞춘 뒤 MIDI로 내보내기 합니다. 이렇게 얻은 MIDI는 악보 프로그램에 임포트하여 악보로 변환합니다.
- Basic Pitch와 같은 오픈소스 모델을 활용한다면 Python이나 웹 데모에서 오디오를 처리해 MIDI 결과를 얻습니다. 결과 MIDI를 검토하며 불필요한 노트를 제거하거나 나누어져야 할 노트를 합치는 등 후편집을 합니다.
- 악보 편집 및 완성: 4단계까지 얻은 악보/MIDI 데이터를 종합하여 최종 악보를 편집합니다. MuseScore 같은 무료 악보 제작 소프트웨어에 MIDI를 불러오면 자동으로 기보되는데, 악보 형태로 정돈하기 위해 마디 단위로 박자를 맞추고, 과도한 쉼표나 붙임줄 등을 정리합니다. 필요하면 조표와 키를 설정하고, 편의상 조옮김(Key transpose)을 통해 쉬운 조로 바꿀 수도 있습니다. 이렇게 완성된 악보는 PDF나 이미지로 내보내 저장합니다.
이 과정을 거치면 드디어 Suno AI로 만든 나만의 곡을 반주 트랙과 악보로 활용할 수 있게 된답니다!
마무리: AI와 음악의 즐거운 만남 📝
자, 이제 Suno AI로 만든 멋진 곡을 어떻게 반주로 만들고, 악보까지 추출할 수 있는지 자세히 알아봤어요. AI 기술 덕분에 전문가의 영역이라고 생각했던 작업들이 이제는 저 같은 일반인도 충분히 시도해볼 수 있게 되었죠. 정말 신기하고 재미있는 세상 아닌가요?
물론, 아직 AI가 완벽하게 모든 걸 해결해 주지는 못해요. 추출된 악보나 분리된 오디오에 미세한 오류나 아쉬운 점이 있을 수도 있답니다. 그럴 때는 너무 실망하지 마시고, 직접 조금씩 다듬고 수정하는 과정을 통해 나만의 결과물을 만들어 가는 즐거움을 느껴보세요. AI 도구의 결과물과 우리의 음악적 감각을 잘 조합하면, 훨씬 더 풍성한 음악 경험을 할 수 있을 거예요! 😊