AI는 음악의 무엇을 바꿨나 — 효과가 있었던 것은 생성이 아니라 분해 쪽이었다

왜 이것을 조사했나

AI 소식은 매일같이 따라가고 있다. 단백질 구조가 풀리고, 수학의 미해결 문제에 실마리가 나오고, 코드는 쓰이기 전에 리뷰된다.

그럼 피아노는. 음악은.

매일 아침 하농을 치는 입장에서 솔직히 궁금했다. 내 연습 주변에서 뭔가가 달라졌다는 실감이 옅었기 때문이다. 찾아보니 변화는 분명히 일어나 있었다. 다만 세간이 주목하는 곳과 실제로 효과가 난 곳이 달랐다.

생성 AI에서 일어난 것은 기술이 아니라 제도의 재편

먼저 눈에 띄는 쪽부터. Suno와 Udio는 가사·노래·반주·믹스까지 한 번에 생성하고, 음질도 구성도 상용 수준에 도달했다. 2026년 시점에서 Suno는 v5 계열이다.

하지만 2024년 이후 이 영역에서 실제로 일어난 일은 기술적 돌파라기보다 법과 계약의 결말이었다.

시기	사건
2024년 6월	메이저 3사(UMG·WMG·Sony Music)가 Suno·Udio를 저작권 침해로 제소
2025년 10월	UMG가 Udio와 화해·제휴
2025년 11월	WMG가 Suno·Udio 양사와 화해·제휴
2026년	라이선스된 악곡으로 학습한 새 모델로 이행. Sony의 청구는 계속 중

즉 논점은 “만들 수 있는가”에서 “누가 만든 것이 되고, 대가는 누구에게 가는가“로 옮겨갔다. 2026년 초에는 Suno 출력물의 권리 귀속을 둘러싼 약관 변경이 보도되었고(Suno 측은 부인), 생성된 곡을 누가 소유하는가라는 가장 기본적인 물음이 아직 흔들리고 있다.

이것은 AlphaFold 같은 “미지가 풀렸다” 형태의 혁신이 아니다. 대량생산의 경제가 어떻게 재편되는가의 이야기다. 중요하지만 성질이 다르다.

실제로 효과가 있었던 것은 분해하는 쪽이었다

기반을 바꾼 것은 이쪽이다. 10년 전에는 불가능했던 일이 지금은 일상이 되었다.

음원 분리

섞인 녹음에서 보컬·드럼·베이스·그 외를 꺼낸다. 2019년 Spleeter(Deezer)가 오픈소스화로 보급의 불씨를 당겼고, Meta의 Demucs, 특히 Hybrid Transformer Demucs(2022)가 사실상의 표준이 되었다. Sony가 주최하는 MDX Challenge 같은 벤치마크 정비가 품질 향상을 가속시켰다.

상징적인 것은 비틀즈의 Now and Then(2023)이다. 1970년대의 열화된 데모 카세트에서 Peter Jackson 팀이 존 레논의 목소리만 꺼내 신곡으로 성립시켰다. 이 기술은 Get Back(2021) 제작에서 다듬어진 것이고, 이 곡은 2025년 그래미상에서 최우수 록 퍼포먼스를 수상했다.

치는 쪽에게 의미는 명확하다. 임의의 음원에서 연습용 마이너스원을 만들 수 있다. 협주곡의 오케스트라만, 연탄의 상대 파트만 잘라낼 수 있다.

자동 채보

연주음에서 MIDI로, 나아가 읽을 수 있는 악보로. 계보는 이렇다.

• Onsets and Frames(Google Magenta, 2018) — 온셋 검출을 분리해 학습시켜 정확도가 크게 올랐다
• MAESTRO(2019) — 약 200시간의 연주음과 정합 MIDI. 학습 기반이 갖춰졌다
• ByteDance 고해상도 피아노 채보(2020) — 페달을 포함한 고정밀화
• 교토대 나카무라 에이타 외(2021) — “실용에 가까운 수준의 악보 생성에 세계 최초 성공”으로 보도되었다
• MT3(Google, 2021) — 다악기·멀티트랙으로

2026년에는 음원에서 악보를 만드는 실용 도구가 비교 기사의 대상이 될 정도로 선택지가 갖춰졌다. 다만 나온 악보를 그대로 쓸 수 있는 경우는 드물고, 사람의 교정이 전제라는 위치는 변하지 않았다.

OMR(광학 악보 인식)

종이 악보·자필보를 기계가 읽을 수 있는 데이터로 바꾼다. 수수하지만 뒤에 나올 음악학 이야기는 전부 이 위에 올라타 있다.

이 셋이 갖춰진 결과로 일어난 일은 한마디로 — 과거에 녹음되고 출판된 음악의 재고가 통째로 데이터가 되었다는 것이다.

왜 피아노만 정확도가 나오나

음악 AI를 이해하는 데 가장 잘 듣는 구분은 기호 영역과 음향 영역이다.

층	표현	대표 태스크
기호(symbolic)	악보, MIDI, MusicXML	작곡, 편곡, 운지, 양식 분석
음향(audio)	파형, 스펙트로그램	생성, 음원 분리, 음색 변환

둘을 잇는 것이 자동 채보(음향 → 기호)와 연주 렌더링(기호 → 음향)이고, 난소는 여기에 집중되어 있다. 음성 AI의 ASR / TTS와 같은 구도지만, 음악은 다성인 만큼 한 단계 더 어렵다. 동시에 울리는 여러 음을 분리해 들어야 한다.

그 위에서 피아노에 정확도가 나오는 이유는 셋이다. 음고가 이산적이고 조율이 안정적이다. Disklavier 등으로 MIDI가 붙은 연주 데이터를 대량으로 모을 수 있다. 그리고 현을 친 뒤에는 감쇠할 뿐 피치가 움직이지 않는다.

거꾸로 말하면 비브라토와 포르타멘토로 피치가 연속적으로 움직이는 현악기와 성악은 지금도 벽으로 남아 있다. 피아노를 치는 사람은 우연히 기계가 가장 잘하는 악기를 치고 있는 셈이다.

“미해명의 해명”은 지금 어디까지 왔나

핵심에 가장 가까운 것은 계산음악학이다. 2026년 6월, 노르웨이 국립도서관과 오슬로대학에서 **DAIM 2026(Symposium on Digital and AI Musicology)**이 열렸다. 주제가 그대로 “보존·번각·분석·발견·상호연결”이라, 이 영역의 관심이 어디 있는지를 잘 보여준다.

진행 중인 물음은 이런 것들이다.

• 귀속 추정 — 필적과 양식의 통계 분석에 의한 진위 판정. 종래에는 소수 전문가의 귀와 감에 의존했다
• 연주 양식의 정량 비교 — 역사적 녹음을 대량 해석해 템포·루바토·강약의 변천을 숫자로 추적한다. “이 시대의 피아니스트가 실제로 무엇을 했는가”를 인상론이 아니라 말할 수 있다
• 대규모 번각 — 읽히지 않은 채 잠들어 있던 자필보가 검색 가능해진다

다만 솔직히 적어두면, 2026년 시점에서 “오랜 수수께끼가 AI로 풀렸다”고 단언할 수 있는 단독의 대발견은 아직 없다. 나와 있는 것은 “전수조사가 가능한 기반이 갖춰졌다”는 단계의 변화다. 베토벤 교향곡 제10번의 AI 보완(2021) 같은 화제작은 있지만, 그것은 발견이 아니라 창작에 가깝다.

인접 영역에서는 듣고 있는 음악을 뇌 활동에서 재구성하는 연구(Bellier 외, 2023)가 있다. 뇌전증 환자의 두개내 전극 기록에서 Pink Floyd의 Another Brick in the Wall을 인식 가능한 형태로 복원했다. 이쪽은 “미해명이던 것”에 들어가는 성과라 할 수 있다.

대체가 아니라 따라가는 방향

연주 현장에서 받아들여지고 있는 것은 인간을 대체하는 AI가 아니라 인간의 흔들림에 맞추는 쪽의 기술이다.

IRCAM의 Antescofo는 현대음악에서 전자 파트를 동기시키는 정번이 되었다. 야마하의 AI 합주 기술은 자동연주 피아노가 인간 솔리스트를 따라가며 반주한다. 글렌 굴드의 양식을 학습한 Dear Glenn(2019)도 이 계보에 있다.

2026년 연구에서는 MIDI 얼라인먼트에 의한 연주 채점을 임베디드 기기에서 실시간으로 돌리는 것, 음향과 영상을 융합해 운지 오류 교정과 표현성 모델링을 동시에 하는 것이 나오고 있다. 모두 “치는 사람이 있다”를 전제로 한 설계다.

일어나지 않은 것

과장을 피하기 위해 변하지 않은 부분도 적어둔다.

• 연주 자체의 가치 구조는 변하지 않았다. 신체성과 라이브의 가치는 AI 바깥에 있다. 오히려 생성 음악이 포화된 만큼 “사람이 지금 여기서 치고 있다”의 희소성은 상대적으로 올라갔다는 견해가 강하다
• 악기 자체의 혁신은 AI에서 온 것이 아니다. Pianoteq 같은 물리 모델링 음원은 AI가 아니라 물리 시뮬레이션이다. 자주 혼동된다
• 음악 이론에 새로운 체계는 생기지 않았다. 기존 이론의 검증 규모가 넓어졌을 뿐, 이론 자체는 갱신되지 않았다
• “좋은 연주”의 자동 평가는 미성숙하다. 기술적 정확도는 측정할 수 있지만, 음악적 설득력에 대해서는 합의된 지표조차 없다

치는 쪽에게 무엇이 바뀌었나

결국 음악에서 AI가 듣는 방식은 “새로운 곡을 만든다”가 아니라 과거의 음악이 전부 데이터가 되어, 처음으로 전수조사가 가능해졌다는 형태로 왔다.

그리고 디지털 피아노가 MIDI를 내보내는 이상, 그 혜택은 개인의 연습 책상까지 내려와 있다. 자기 연주를 MIDI로 기록하면 타건 타이밍의 흔들림, 벨로시티의 편차, 좌우의 어긋남이 수치로 보인다. 악보와 자동으로 얼라인먼트를 잡으면 어디서 템포가 무너지고 어느 음을 빠뜨리는지 특정할 수 있다. 하농이나 스케일 같은 기계적인 연습일수록 일탈을 검출하기 쉬워 자동 해석과 궁합이 좋다.

Demucs로 스템을 뽑고, partitura나 pretty_midi로 자기 연주를 해석한다. 전부 오픈소스이고, 로컬 환경에서 완결된다. 대발견의 이야기는 아니지만 매일 아침 연습의 해상도를 올리는 도구로서는 이미 충분히 실용 단계에 있다.

음악 이론 쪽은 5도권 도구나 피아노 연습 도구에서도 다뤘지만, 연주 해석 쪽은 아직 손을 대지 않았다. 다음은 거기를 건드려 보려고 한다.

하나 더, 이 글을 쓰고 나서 걸린 것이 있다. 음악에서 이렇게 ’분해 쪽만 움직였다’면 다른 업계에서는 어떤가. 조사해 늘어놓아 보니 갈림길은 분야의 난이도가 아니라 답을 맞춰볼 수 있는가였다. 그 뒷이야기는 결정한 것은 검증기였다에 썼다.