확실한 단어부터 인식…문맥으로 빈틈 보완
433시간 영상 학습…국제학술대회 우수논문상
카이스트(KAIST)는 전기및전자공학부 노용만 교수 연구팀이 입모양을 분석해 말을 문자로 변환하는 시각적 음성인식 기술을 개발했다고 15일 밝혔다. ⓒKAIST
입술 움직임만으로 말을 인식하는 인공지능(AI)의 정확도를 높이는 기술이 개발됐다. 단어 오류율은 19.4%로, 소음이 심한 환경이나 청각장애인의 의사소통을 돕는 기술로 활용될 것으로 전망된다.
카이스트(KAIST)는 전기및전자공학부 노용만 교수 연구팀이 입모양을 분석해 말을 문자로 변환하는 시각적 음성인식 기술을 개발했다고 15일 밝혔다.
입모양만으로 말을 구별하기는 쉽지 않다. 서로 다른 소리도 입술 움직임이 비슷하기 때문이다. 기존에 널리 쓰이던 방식은 문장을 앞에서부터 순서대로 생성해 초반의 오류가 뒤따르는 단어에도 영향을 미칠 수 있었다.
연구팀은 입술 움직임이 명확한 단어를 먼저 인식한 뒤 앞뒤 문맥을 활용해 모호한 부분을 채우는 방식을 적용했다. 문장의 빈칸을 반복적으로 채워나가는 확산 대형 언어모델(DLLM)을 활용한 기술이다.
학습 과정도 개선했다. 입술 움직임과 문자를 연결하는 학습과 문장 길이를 파악하는 학습을 분리한 것이다. 실제 인식 과정에서는 영상 길이를 바탕으로 여러 문장 길이를 추정하고 가장 신뢰도 높은 결과를 선택하도록 설계했다.
연구팀은 433시간 분량의 입모양 영상 자료인 ‘LRS3’를 활용한 실험에서 단어 오류율 19.4%를 기록했다. LRS3만을 정답이 제공된 학습 자료로 사용한 기존 연구 가운데 가장 낮은 오류율이다.
이번 기술은 기계 소음이 큰 산업 현장에서 작업자의 말을 파악하거나 청각장애인과 난청인의 의사소통을 지원하는 데 활용할 수 있다.
연구팀은 향후 AI 모델의 크기와 연산량을 줄여 착용형 기기와 로봇 등에서 인터넷 연결 없이 실시간으로 작동하도록 개선할 계획이다.
이번 연구에는 여정훈 박사후연구원이 제1저자로 참여했다. 연구 성과를 담은 논문은 자연어 처리 분야 국제학술대회인 ‘EMNLP 2026’에서 우수논문상을 받았다.
노 교수는 “이번 연구는 인공지능이 단어를 생성하는 순서를 유연하게 제어하는 것만으로도 시각적 모호성을 지닌 음성 인식의 근본적 한계를 극복할 수 있음을 입증했다는 데 의미가 있다”고 말했다.
댓글 쓰기