음높이 따라 손에 '톡톡' 자극…청각장애인에게 정확한 음을 전달한다

2020.04.19 13:16
한국전자통신연구원(ETRI)은 주위 소리와 자신 목소리의 음높이(피치)를 분석해 촉각 신호로 전달해주는 ‘촉각 피치 시스템’을 개발했다. 한국전자통신연구원 제공
한국전자통신연구원(ETRI)은 주위 소리와 자신 목소리의 음높이(피치)를 분석해 촉각 신호로 전달해주는 ‘촉각 피치 시스템’을 개발했다. 한국전자통신연구원 제공

청각장애인은 인공와우 수술을 받으면 다른 사람의 소리를 듣고 자신의 목소리로 대화하는 게 어느 정도 가능해진다. 인공와우는 청신경에 전기자극을 줘 소리를 듣게 해주는 장치다. 하지만 음의 높낮이를 제대로 듣지 못하기 때문에 정확한 음정을 내지 못해 한 가지 톤으로 말하는 경우가 많다. 이들이 노래를 부를 정도로 정확한 음정을 내도록 촉각을 통해 음정을 전달하는 장비가 개발됐다.

 

한국전자통신연구원(ETRI)은 주위 소리와 자신 목소리의 음높이(피치)를 분석해 촉각 신호로 전달해주는 ‘촉각 피치 시스템’을 개발하고 장비로 청각장애인을 훈련시켰더니 노래를 부를 수 있을 정도로 음정을 판별하는 능력이 길러졌다고 19일 밝혔다.

 

청각장애인의 인공와우는 의사소통할 수 있을 정도의 소리는 들을 수 있게 해준다. 하지만 세세한 뉘앙스까지 파악할 정도로 음의 높낮이를 구분하는 데는 한계가 있다. 목소리를 낼 때도 자신의 목소리 음정을 구분하지 못해 말을 할 때 내는 좁은 영역의 목소리 음정과 비명을 지를 때 내는 높은음 정도밖에 내지 못한다.

 

연구팀은 청각장애인이 훈련을 거치면 어느 정도 음정을 구분해낼 수 있다는 것에 착안해 소리에서 나는 주파수 신호를 인식한 후 착용자의 피부에 전달하는 사용자 인터페이스(UI) 기술을 개발했다. 사용자 손에 장갑을 끼우고 음에 따라 다른 손가락 위치에 자극을 주도록 하는 방식이다. 예를 들면 기본음 ‘도’인 4옥타브 도 소리가 나면 왼손 검지 첫째 마디에 진동이 온다. 이러한 방식으로 3옥타브 도에서 5옥타브 시까지 반음을 포함한 36개 음계를 촉각 패턴으로 바꿔 손에 전달하도록 했다.

 

연구팀은 강남대와 함께 청각장애인 2명이 참여한 촉각 피치 시스템 임상연구를 진행했다. 인공와우 수술을 받은 청각장애인 2명은 한 달간 15시간 훈련을 받았다. 참가자들은 외부의 소리 높낮이를 인식하면서 자신의 목소리도 높낮이를 인식해 원하는 음을 내는 훈련을 받았다. 연구팀은 “주변 목소리와 내 목소리의 높낮이를 촉각으로 익히려면 한 달의 훈련이 필요하다”고 설명했다.

 

그 결과 참가자들이 자신의 목소리로 원하는 음을 낼 수 있는 능력이 약 3배 향상된 것으로 나타났다. 과거에는 높은음과 낮은음 두 종류의 소리만 낼 수 있었던 참가자들이 음정을 맞춰 도레미파솔라시도를 내는 것이 가능해진 것이다. 참가자들은 이 장비를 이용해 한 달 간 훈련을 거쳐 ‘반짝반짝 작은별’과 같은 노래를 부르는 데도 성공했다.

 

두 참가자의 음정 정확도를 확인한 그래프다. 훈련을 받기 전(파란색 실선) 단조로운 음역대에 머물렀던 참가자들은 훈련을 받은 후 실제 음정(검은색 점선)과 비슷한 정도의 음(빨간색 실선)을 내는 것으로 나타났다. ETRI 제공
두 참가자의 음정 정확도를 확인한 그래프다. 훈련을 받기 전(파란색 실선) 단조로운 음역대에 머물렀던 참가자들은 훈련을 받은 후 실제 음정(검은색 점선)과 비슷한 정도의 음(빨간색 실선)을 내는 것으로 나타났다. ETRI 제공

이준우 강남대 사회복지학과 교수는 “일반적으로 청각장애인이 낼 수 있는 소리의 범위가 있는데 이번 훈련을 통해 그동안 내기 어려웠던 소리 영역을 낼 수 있는 자체가 획기적”이라고 말했다.

 

연구책임자인 신형철 ETRI 휴먼증강연구실장은 “사회 소수자들이 정말 필요로 하는 적정기술을 개발하기 위해 노력했다”며 “이번 기술이 실질적으로 여러 사람을 돕는 복지 정보통신기술로 활용됐으면 한다”고 말했다.

 

 

 

메일로 더 많은 기사를 받아보세요!

댓글 0

작성하기

    의견쓰기 폼
    0/150