UPDATED. 2021-10-20 10:48 (수)
베토벤과 김광석을 되살려내는 AI 음악가
베토벤과 김광석을 되살려내는 AI 음악가
  • 박강수
  • 승인 2020.12.11 15:14
  • 댓글 0
이 기사를 공유합니다

카오스재단 ‘AI 크로스’ 강연 ⑩ 음악과 인공지능의 만남

카오스재단(이사장 이기형)이 인공지능(AI)을 주제로 2020 가을 카오스강연을 펼치고 있다. 지난달 7일부터 오는 12월 9일까지 매주 수요일 저녁 8시, 총 10회에 걸쳐 내로라하는 전문가들이 강연을 한다. ‘AI 크로스’를 주제로 의학, 기후, 음악, 수학, 로봇 공학 등 각 학문 분야에서 AI를 어떻게 최첨단으로 활용하고 있는지 살펴본다. 마지막 10강에서는 이교구 서울대 교수(지능정보융합학과)가 ‘음악을 듣고 만드는 AI’에 대해 강연했다.

카오스재단 ‘AI 크로스’ 강연 및 연재 순서

1 브레인 3.0 AI와 뇌공학이 바꿀 인류의 미래

2 수학을 통하여 세상을 3차원으로 보는 법

3 게놈데이터를 이용한 정밀의료

4 딥러닝으로 엘니뇨 예측하기

5 컴퓨터 비전과 딥러닝의 현재와 미래

6 AI의 사고과정을 설명할 수 있을까?

7 인간지능을 능가하는 인공지능이 출현할 것인가?

8 바이오메디컬 인공지능

9 헬로 딥러닝: 직관적이고 명확하게 딥러닝을 이해하기

10 음악과 인공지능의 만남

 

음악과 알고리즘, 추천부터 창작까지

글렌 굴드의 연주 패턴을 구현할 수 있을까

언어를 이해하면 음악도 이해한다

 

루트비히 판 베토벤은 1827년에 죽었는데 많은 죽음과 마찬가지로 그의 최후 역시 미완의 유산을 남겼다. ‘10번 교향곡’이다. 스케치와 악보 조각이 분절적으로 전해진다. 영국의 음악학자 베리 쿠퍼 등이 복원을 시도하기도 했으나 여전히 베토벤의 마지막 교향곡은 9번 ‘합창’이다. 베토벤 이후 슈베르트, 드보르작 등 유명 음악가들이 9번째 교향곡을 넘겨 창작을 이어가지 못하고 죽는 일이 겹쳤다. 호사가들은 여기에 ‘9번 교향곡의 저주’라는 이름을 붙이기도 했다.

지난해 음악학자와 작곡가, 베토벤 연구자, AI 전문가가 팀을 꾸려 10번 교향곡 완성에 나섰다. 베토벤의 악곡을 학습한 뒤 그가 미처 쓰지 못한 음악을 대신 써내는 인공지능 작곡 프로젝트다. 베토벤 탄생 250주년을 맞아 지난 4월 예정됐던 10번 교향곡 연주회는 팬데믹 탓에 내년으로 밀렸다. 예술가의 창작을 패턴화해 작품을 새로 구성하는 일은 인격을 재현하는 일처럼도 여겨진다. 학습을 통해 기계가 작가의 인격마저 담아낼 수 있을까.

 

지난 9일 이교구 서울대 교수(지능정보융합학과)가 음악과 인공지능을 주제로 강연했다.사진=유튜브 강연 캡처
지난 9일 이교구 서울대 교수(지능정보융합학과)가 음악과 인공지능을 주제로 강연했다.
사진=유튜브 강연 캡처

 

지난 9일 저녁 8시 온라인 생중계된 카오스재단 ‘AI크로스’ 마지막 강연에서 이교구 서울대 교수(지능정보융합학과)가 위 질문을 둘러싼 인공지능 기술의 현황을 짚었다. 음악을 듣고 분석하고 연주하고 만들어내는 모든 활동에서 AI가 보여주고 있는 성취 전반이 소개됐다. 강연 끝에 이 교수는 “’왜’라는 질문을 던지는 일은 사람만 할 수 있다”면서 “AI는 도구일 뿐이고 오히려 창작의 진입장벽을 낮춰 예술 생태계의 다양성에 일조할 수 있을 것”이라고 밝혔다.

 

기울어진 음원 시장의 추천 알고리즘

AI가 수행하는 첫 번째 음악 활동은 추천이다. 현대의 음악 소비자들은 ‘선택의 역설’에 처해 있다. 선택지가 너무 많아 역으로 선택이 어려워지는 현상이다. 세계 스트리밍 시장의 약 30%를 점유한 대형 음악 플랫폼 스포티파이(Spotify)의 경우 보유한 음원이 5천만곡에 이른다. 청자가 스스로 탐색해 선택하기보다는 추천 알고리즘에 의존해 음악을 들을 수 밖에 없다. 여기서 활용되는 방법이 ‘협업 필터링 추천 시스템’이다.

사람들이 음악을 듣는 무수히 많은 패턴을 분석해 여기서 얻어지는 기호 정보를 토대로 음악을 추천해주는 방식이다. 다만 “이 경우 인기도에 따른 선입견이 문제가 된다.” 이 교수의 지적이다. 많이 듣는 음악이 많이 추천된다. 극소수 유명 아티스트에 추천이 쏠리는 기울어진 운동장이다. 이를 보완한 알고리즘이 ‘내용 기반 음악 추천’이다. 음악 자체의 속성들, 코드 진행, 멜로디, 음색을 파악해 취향을 식별한다. 음악 시장의 기울기를 일부 완화할 수 있다.

이 교수 연구팀이 개발한 가창 합성 인공지능. 적대적 신경생성망(GAN)을 활용했다.
이 교수 연구팀이 개발한 가창 합성 인공지능. 적대적 신경생성망(GAN)을 활용했다.

 

김광석이 부르는 김범수의 ‘보고 싶다’

다음은 연주와 가창이다. 음악은 악보의 형태로 1차 창작 되지만 사람들이 즐기기 위해서는 악기를 통한 실체화 과정을 거쳐야 한다. 음과 박자의 정확도를 넘어 ‘음악적 표현력’이라는 드넓고 모호한 예술의 영역이 여기에 자리한다. 이를 기계로 구현하기가 쉽지 않다. 이 교수는 남주환 카이스트 교수팀과 협업해 ‘AI 피아니스트’를 만들어 냈다. 미디를 통해 악보를 단순히 오디오 형식으로 가공하는 데 그치지 않고 사람이 실제 건반을 두드리는 듯한 연주를 들려준다. 강연에서는 쇼팽의 즉흥환상곡 연주가 제시됐는데 시청자 다수가 실제 인간의 연주와 분간하지 못했다.

이어서 AI 가수도 등장했다. MBN 김주하 앵커 AI로 유명해진 음성 합성보다 가창 합성 기술은 더 복잡하다. 사람의 음성을 베껴 멜로디 정보에 입혀내야 하기 때문이다. 여기에는 지난 5강 컴퓨터 비전 편에 소개됐던 ‘적대적 생성 신경망(GAN)’이 활용됐다. 가창을 합성하는 신경망과 합성된 노래 목소리를 가짜인지 진짜인지 판별하는 신경망이 상호 경쟁하면서 결과물을 개선시켜 간다. 이를 통해 실제 가수의 목소리 재현도 가능하다. 이 교수는 강연에서 합성을 통해 만들어내 故 김광석의 ‘보고 싶다(김범수 원곡)’, 선우정아의 ‘꽃피는 봄이 오면(BMK 원곡)’ 등을 들려줬다.

 

 

아이바부터 뮤즈넷까지 AI작곡가들

인공지능의 연주와 가창 합성은 실제 사람의 것과 분간이 어려운 수준까지 왔다. 이 교수는 ‘음악 튜링테스트를 통과한 셈’이라고 표현한다. 튜링 테스트는 문답을 통해 상대가 기계인지 사람인지를 파악하는 테스트 양식이다. 음악 튜링 테스트의 다음 과제는 작곡으로 넘어간다. 2016년 룩셈부르크에서 만들어진 AI 작곡가 아이바(AIVA)는 이미 두 장의 클래식 음반을 냈고 팝, 록, 재즈 등 장르에서 작곡을 이어가고 있다. 프랑스 음악협회에 최초로 등록된 인공지능 작곡가이기도 하다.

구글마젠타(Magenta) 프로젝트, 소니의 플로우 머신즈(Flow Machines) 등 AI 작곡가는 다양하다. 일론 머스크의 인공지능 프로젝트 ‘Open AI’에서는 뮤즈넷(MuseNet)이라는 딥러닝 기반 작곡용 인공신경망을 개발하기도 했다. 뮤즈넷은 같은 곳에서 개발한 글쓰기 인공지능 GPT-2 알고리즘을 기반으로 만들어져 더 의미가 깊다. 이 교수는 “언어와 음악은 공통점이 많다. 각각 문자와 악보라는 규칙을 가진 체계적 기호 체계를 사용한다. 같은 알고리즘에 훈련 데이터로 무엇을 쓰느냐에 따라 결과물이 달라지는 것”이라고 설명했다.

<시리즈 끝>

 

 

박강수 기자 pps@kyosu.net

 


관련기사

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.