[인간·공감·AI]조난자 소리, 원하는 가수 목소리 콕 찍어 키워 듣는다

2020.10.16 17:32
존재감 드러내는 청각 AI 기술.
김홍국 광주과학기술원(GIST) 교수는 청각 인공지능(AI) 전문가다. 원하는 소리만 골라 들을 수 있는 사운드 줌 기술과 개인 맞춤형 음질 개선 기술, 그리고 최근에는 상황인지 청각 AI 기술로 재난 상황을 인지하고 인명을 구조하는 기술을 연구 중이다. 드론에 탑재해 실제로 인명을 구조할 계획이다. 동영상 캡쳐
김홍국 광주과학기술원(GIST) 교수는 청각 인공지능(AI) 전문가다. 원하는 소리만 골라 들을 수 있는 사운드 줌 기술과 개인 맞춤형 음질 개선 기술, 그리고 최근에는 상황인지 청각 AI 기술로 재난 상황을 인지하고 인명을 구조하는 기술을 연구 중이다. 드론에 탑재해 실제로 인명을 구조할 계획이다. 동영상 캡쳐

좋아하는 음악 그룹의 공연장을 찾아 손수 녹화까지 했다. 가장 좋아하는 멤버를 중심으로 정성껏 촬영했는데, 막상 틀어보니 그 멤버의 목소리는 다른 가수의 노래와 함성에 묻혀 들리지 않는다. 영상만으로 만족해야 할까.


●원하는 부분만 확대하는 ‘줌’ 기능, 음악에서도 가능해


이미 녹화된 영상에서 한 명 한 명 원하는 사람의 목소리를 따로 들을 수 있는 기술이 나왔다. 김홍국 광주과학기술원(GIST) 전기전자컴퓨터공학부 교수팀은 스테레오로 녹음된 영상에서 원하는 사람, 원하는 악기의 소리만 골리 들을 수 있는 ‘오디오 줌’ 기능을 개발했다. 


김 교수는 “가수의 음악에서 내가 특히 더 좋아하는 가수만 ‘줌’ 기능을 이용해 따로 확대해 볼 수는 있어도 목소리만 따로 듣는 기술은 기존에 없었다”라며 “청각 인공지능(AI)을 응용해 이런 바람을 실현시키는 기술을 완성했다”고 말했다. 실제로 기타를 치는 사람과 노래를 부르는 사람이 동시에 녹화된 영상의 경우, 영상을 시청하는 도중 가볍게 기타를 치는 사람 또는 노래를 부르는 사람을 터치하는 것만으로 그 사람의 소리만 선명히 골라 듣는 게 가능하다.


김 교수는 “소리의 방향을 수정해서 그 방향에 해당하는 각도와 주파수만 찾는 필터를 이용해 원하는 사람의 소리만 골라내는 게 원리”라며 “나아가 원하는 가수의 목소리만 따로 추출해 다른 음원에 추가로 입히는 것도 가능하다”고 말했다. 예를 들어 퀸의 보컬리스트 프레디머큐리의 목소리만 추출해 새로 녹음하는 다른 연주에 보컬로 입히는 것도 가능하다. 김 교수는 “다양한 창조적인 음악 활동이 가능해질 것”이라고 말했다.

 

사운드줌 기능은 영상에서 원하는 소리만 골라 들을 수 있는 기능이다. 동영상 캡쳐
사운드줌 기능은 영상에서 원하는 소리만 골라 들을 수 있는 기능이다. 동영상 캡쳐

●개인 맞춤형 이어폰 만들 수 있다


개인 별로 최적의 음을 들려주는 맞춤형 이어폰을 만들 수도 있다. 현재 널리 사용되는 무선 이어폰은 평균적인 사람의 귀에 맞도록 만들어져 있다. 사람마다 귀와 신체의 특성이 각기 다 다르다는 점을 고려하지 않아 획일적인 음을 들려준다. 김 교수는 “실제로 사람은 머리 크기와 모양, 귓바퀴의 모양 등 소리와 관련된 조건이 모두 천차만별”이라며 “이를 고려해 개인의 귀 형태나 신체 특성을 고려해 음 특성을 조절할 수 있는 기술을 개발했다.


머리 둘레 등 7가지 측정치를 입력하고 귀 사진을 스마트폰으로 찍어 입력하면 귀의 형태를 자동으로 인식한 뒤 분석해 그 개인의 신체와 귀 특성에 가장 적절한 음질을 소프트웨어적으로 만들어 최적화시킨다. 김 교수는 “음악 감상 외에 보청기에도 응용이 가능하다”라며 “특히 특정 주파수 대역이 잘 안 들리는 문제가 생겼을 때 이를 세밀하게 조정할 수 있다”고 말했다. 

 

개인의 신체와 귀 특성에 맞춰 최적의 음질을 제공하는 데에도 지능형 청각 기술이 적용된다. 김 교수팀은 신체와 귀 형태를 사진 등으로 입력하면 자동으로 소프트웨어적 방법으로 음질을 최적화하는 기술을 개발했다. 동영상 캡쳐
개인의 신체와 귀 특성에 맞춰 최적의 음질을 제공하는 데에도 지능형 청각 기술이 적용된다. 김 교수팀은 신체와 귀 형태를 사진 등으로 입력하면 자동으로 소프트웨어적 방법으로 음질을 최적화하는 기술을 개발했다. 동영상 캡쳐

●화재, 수해…재난·사고시 인명 구조 최전선 청각 AI가 나선다


많은 사람들의 가슴을 쓸어내리게 한 울산 고층 아파트 화재, 지난 여름 여러 이재민을 고통스럽게 한 집중호우와 수재는 예고하지 못한 사고와 재난이 언제든 발생할 수 있다는 경각심을 일깨운다. 이럴 때 드론 등 무인 비행체가 자동으로 구조 요청이나 사고 발생을 인식해 구조를 요청한다면 사고 수습과 인명 피해 예방에 큰 도움이 된다.


실제로 최근에는 AI 기술이 발전하면서 사람이 없어도 사고 상황을 빠르게 인식하고 후속 조치로 연결시키는 기술이 활발히 개발되고 있다. 쓰러진 사람을 발견하면 구조를 요청하고 사고를 신고하는 AI 폐쇄회로TV(CCTV) 기술이 대적이다.


하지만 시각AI는 카메라로 관찰하고 있는 지역만 모니터링이 가능하다는 단점이 있다. 이런 한계를 보완할 수 있는 새로운 ‘청각 AI’가 최근 주목받고 있다. 


김 교수팀은 청각 AI를 이용해 사람을 구조할 수 있는 드론 AI 기술을 연구하고 있다. 위험에 빠진 사람이 구조요청을 하거나 비명을 지를 때, 총소리 등 갑작스러운 사고 소리가 날 때 이를 감지해 자동으로 식별해 위치를 파악하고 구조를 요청할 수 있는 기술이다. 지금은 폐쇄회로TV(CCTV)를 이용해 비명이나 자동차 음, 구조요청 등을 인지해 그 방향으로 CCTV 방향을 돌려 정밀 모니터링을 하는 기술을 개발했다. 향후 드론 등에 탑재해 조난이나 화재 등 다양한 사고 현장을 조기에 발견해 인명 구조에 도움을 준다는 계획이다.

 

자동차 경적음이나 비명, 구조요청 소리, 총성 등 다양한 사건 사고와 재난 상황의 소리를 인지해 상황을 파악하고 빠르게 구조요청 등 후속조치가 가능하게 하는 인명구조 AI도 청각 AI에 기반해 이뤄지고 있다. 김 교수팀은 현재 사건 음향이 감지된 곳을 CCTV가 정밀 모니터링하도록 하는 기술을 개발했고, 향후 이 기술을 드론에 탑재해 오지나 위험지역의 인명 구조에 응용한다는 계획이다. 동영상 캡쳐
자동차 경적음이나 비명, 구조요청 소리, 총성 등 다양한 사건 사고와 재난 상황의 소리를 인지해 상황을 파악하고 빠르게 구조요청 등 후속조치가 가능하게 하는 인명구조 AI도 청각 AI에 기반해 이뤄지고 있다. 김 교수팀은 현재 사건 음향이 감지된 곳을 CCTV가 정밀 모니터링하도록 하는 기술을 개발했고, 향후 이 기술을 드론에 탑재해 오지나 위험지역의 인명 구조에 응용한다는 계획이다. 동영상 캡쳐

이 기술은 지난해 과학기술정보통신부가 주최한 문제해결형 AI 연구 경연대회인 ‘AI그랜드챌린지’의 주요 도전 주제 중 하나였다. 김 교수팀의 청각 AI 기술은 지난해 AI챌린지의 청각AI 분야에서 2위를 차지했다. 올해도 11월에 열리는 2라운드 챌린지에 도전해 청각AI의 최고봉 자리를 놓고 기술을 겨룰 예정이다.

 

최종적으로는 드론 위에 이 기술을 지닌 카메라를 탑재해 재난 구조용 드론 AI를 완성하는 게 목표다. 김 교수는 “청각 AI 연구를 통해 보편적 복지를 구현하고 싶다”라며 “연구를 통해 한 사람의 생명이라도 구할 수 있다면 충분히 가치있는 일일 것”이라고 말했다.

 

김홍국 광주과학기술원(GIST) 전기전자컴퓨터공학부 교수팀은 청각 인공지능(AI)을 연구하고 있다. 영상에서 원하는 음만 골라 듣는 사운드 줌 기능부터 재난이나 사고 상황에서 상황을 인지하고 인명 구조를 하는 AI까지 청각 AI를 이용해 구현 중이다.

 

 

메일로 더 많은 기사를 받아보세요!

댓글 0

작성하기

    의견쓰기 폼
    0/150