피아니스트 멈추자 AI가 연주…KAIST, 재즈 즉흥 협연

자라섬재즈페스티벌서 12명·26곡 협연

연주 흐름 파악해 피아노·드럼 반주 생성

카이스트는 문화기술대학원 남주한 교수 연구팀이 지난 9~11일 열린 '제23회 자라섬재즈페스티벌'에서 사람과 AI가 함께 음악을 만드는 협연 기술을 선보였다고 16일 밝혔다. ⓒ카이스트

재즈 피아니스트가 연주를 멈추자 인공지능(AI)이 피아노를 이어받고, 즉흥연주에 맞춰 베이스와 드럼 반주까지 만들어내는 기술이 실제 무대에 등장했다.

카이스트(KAIST)는 문화기술대학원 남주한 교수 연구팀이 지난 9~11일 열린 '제23회 자라섬재즈페스티벌'에서 사람과 AI가 함께 음악을 만드는 협연 기술을 선보였다고 16일 밝혔다.

이번 무대에서는 재즈 아티스트 12명이 총 12개 공연, 26곡을 AI와 협연했다.

재즈는 연주자가 즉석에서 속도와 리듬, 선율을 바꾸는 음악이다. 연구팀은 이러한 변화에 대응하도록 사람의 연주를 실시간으로 분석해 피아노를 이어받거나 반주를 만드는 AI 기술을 개발했다.

AI 피아니스트 '스콧(Scott)'은 실제 연주와 악보를 비교해 자신의 차례를 파악한다. 연주자가 속도를 늦추거나 연주 길이를 바꿔도 흐름에 맞춰 연주를 이어가는 방식이다.

스콧은 재즈 아티스트들과 9곡을 협연하며 앞선 연주자의 선율과 리듬을 반영한 새로운 즉흥연주도 선보였다. AI가 만든 음악은 야마하의 자동연주 피아노 '디스클라비어'를 통해 실제 건반과 페달 움직임으로 구현됐다.

AI 반주 시스템 '딥포켓(Deepocket)'은 사람의 피아노 연주를 듣고 베이스와 드럼 반주를 즉석에서 생성했다. 피아니스트들과 함께한 8곡에서 사전에 준비한 반주 없이 호흡을 맞췄다.

기타리스트들과 협연한 9곡에서는 또 다른 AI가 피아노 반주를 맡았다. 기타 연주의 세기와 리듬이 달라지면 반주도 그에 맞춰 조절했다.

연구팀은 2023년 소프라노 조수미와의 공연에서 사람의 노래에 맞춰 AI 피아노의 반주 시점을 조절하는 기술을 선보인 바 있다. 이번에는 재즈 무대에서 AI가 직접 즉흥연주와 반주를 만들어내는 수준으로 발전시켰다.

향후 개인 연습을 돕는 AI 합주 파트너와 맞춤형 음악교육 등에도 활용할 수 있을 것으로 기대된다.

남 교수는 "앞으로 AI가 단순한 연주 도구를 넘어 사람과 음악적 영감을 주고받는 협연 파트너로 발전할 수 있도록 연구를 이어가겠다"고 말했다.