"앱 깔지 마세요, AI가 대신 전화하니까"…SKT '모두의 AI' 10월 베타 [인터뷰]

10월 '대신 걸기·대신 받기' 베타…12월 정식 출시, 예약·결제까지 과업 수행

"전화·문자는 도달률 거의 100%"…앱 설치·단말 제약 넘어 전 국민 AI 접근성 확대

통화 지연·노이즈·VAD 기술 고도화…1~1.5초 수준 대화 응답 목표

조현덕 SK텔레콤 에이닷전화 담당이 22일 서울 을지로 SK텔레콤 본사에서 ‘모두의 AI’의 앱리스 AI 서비스와 기술 구현 방향에 대해 설명하고 있다.ⓒSK텔레콤

"10월에는 '대신 걸기'와 '대신 받기'가 시범적으로 출시됩니다. 12월 정식 출시에서는 이 기능을 완성도 높게 만들어 대고객 서비스가 가능하도록 준비하겠습니다."

국민 누구나 활용할 수 있는 ‘모두의 AI’ 서비스 연내 출시를 앞두고 22일 서울 을지로 SK텔레콤 본사에서 만난 조현덕 SK텔레콤 에이닷전화 담당은 이같이 말했다.

'모두의 AI' 서비스는 단순 질의응답을 넘어 행정·금융·쇼핑 등 실생활 예약 및 결제까지 대행하는 실행형 에이전트다. 조현덕 담당은 애플리케이션 설치 없이 전화·문자만으로 AI를 쓸 수 있게 하는 '앱리스'(App-less) 영역 개발을 맡고 있다.

"왜 전화·문자인가"…AI 시대 통신사 역할은 '연결'에서 '수행'으로

왜 전화·문자일까. SK텔레콤이 가장 잘하고 있고 가장 잘 할 수 있는 핵심 기반이기 때문이다.

조 담당은 "전통적으로 전화와 문자는 연결을 위한 수단이었다면, AI 시대에는 통신사가 잘할 수 있는 전화와 문자에서 사용자를 이해하고 사용자 대신 실행해 해결해주는 것을 목표로 하고 있다"고 말했다.

그러면서 "최종적으로는 웹과 전화, 문자가 어떤 경로에서든 모두 사용 가능한 AI 에이전트를 구축하는 것이 목표"라고 강조했다.

SK텔레콤은 별도 앱 설치나 학습 없이 AI를 사용할 수 있도록 하고, AI 활용에 익숙하지 않은 사람도 소외되지 않고 누구나 쉽게 사용할 수 있는 환경을 만드는 것에 착안했다. 이를 통해 통신의 역할을 단순한 ‘연결’에서 ‘이해와 수행’으로 확장하는 앱리스 AI를 구현하겠다는 목표다.

조현덕 SK텔레콤 에이닷전화 담당이 22일 서울 을지로 SK텔레콤 본사에서 ‘모두의 AI’의 앱리스 AI 서비스와 기술 구현 방향에 대해 설명하고 있다.ⓒSK텔레콤

에이닷전화에 이미 적용된 한국어 음성인식, 화자 분리, 실시간 스트리밍 처리, 통화 요약, 보이스피싱·스미싱 탐지 기술이 이번 앱리스 개발의 기반이다.

조 담당은 "앱리스는 전화와 문자를 AI를 사용할 수 있는 도구로 활용하는 것이고, 앱과 웹, 전화와 문자 네 가지 방식을 모두 지원하려고 한다"면서 "에이닷 전화의 액티브 유저가 1000만명을 넘지만, 그 서비스 자체에도 한계가 있다고 판단했다. ‘모두의 AI’라는 콘셉트에 맞춰 전 국민에게 AI를 제공하려면 전화와 문자를 활용하는 앱리스도 지원하면서 앱과 웹까지 함께 지원해야 한다"고 설명했다.

최종적으로는 앱리스를 넘어 이 네 가지 도구를 모두 활용해 AI를 제공하는 방법을 지향한다.

"대신 전화 걸고 받는다"…예약부터 결제까지 과업 수행

10월 SK텔레콤이 선보일 '대신 걸기, 대신 받기' 예시로 조 담당은 "어르신들이 KTX나 SRT 앱을 설치해 기차표를 예약할 때 AI가 대신 전화를 걸어 교통편을 대신 예약하고 예매해주는 방식으로 활용할 수 있다"고 설명했다.

대신 받기는 전 국민을 대상으로 하지만, 대신 걸기는 SK텔레콤이 이통사별 가입자 정보를 모두 갖고 있지 않기 때문에 제약이 있다. 또 스마트폰이 아닌 피처폰은 현재 기준 100% 지원하기 어려우며, 향후 보완하겠다고 밝혔다.

대신 걸기, 대신 받기를 포함한 '모두의 AI'의 실제 서비스 구조는 이동통신망에 통화 에이전트를 연결하는 방식으로 구현된다. 통화 에이전트에는 SFS(Speech-to-Speech, 음성 대 음성) 기술과 LLM(거대언어모델)이 결합되며, 에이전트는 SK텔레콤 내부망에 구축된다.

굿닥과 같은 외부 기업이나 서비스가 API(애플리케이션 프로그래밍 인터페이스)를 통해 에이전트와 연결된다. 에이전트가 이용자의 요청에 따라 과업을 수행하고, 후단의 서비스와 API로 연동해 예약이나 결제 등 실제 업무까지 처리하는 구조다.

조 담당은 “오픈AI와 구글도 이런 방식을 API 형태로 준비하고 있다”며 “오픈AI에는 리얼타임 API 2가 있고, 구글에는 라이브 API가 있다”고 설명했다.

SKT 통화 에이전트 구조ⓒSKT

기존 빅스비나 다른 음성비서와 다른 점으로 그는 '과업 해결'을 들었다. 조 담당은 "단순히 음성을 듣고 실행하는 것에서 끝나는 것이 아니라, 나의 에이전트들이 여러 서비스에 연결돼 과업을 완벽하게 해결해주는 것을 최종 목표로 하고 있다"면서 "예를 들어 굿닥이나 KTX 같은 서비스에 연결되고, 결제 에이전트까지 붙어서 하나의 과업을 끝까지 해결해주는 것"이라고 말했다.

KT 컨소시엄·카카오 컨소시엄과 함께 정부의 AI 에이전트 사업 최종 컨소시엄으로 선정된 SK텔레콤은 다른 컨소시엄과의 차별점으로 '먼저 전화를 거는 AI'를 꼽았다.

조 담당은 "LG유플러스의 경우 에이전트에게 전화를 걸어 처리하게 하는 방식으로 이해하고 있다. 우리는 받는 AI뿐 아니라, 사용자가 필요한 시점을 AI가 찾아내 먼저 전화를 걸어주는 것"에 있다고 했다.

그러면서 부모님 돌봄과 관련한 서비스 활용을 예시로 들었다. 부모님이 병원을 예약했지만 자녀가 직접 챙기기 어려운 경우, AI가 병원 방문일에 맞춰 부모님에게 먼저 전화를 걸어 일정을 알려주는 방식이다.

필요하다면 자녀의 에이전트가 택시를 예약하고 택시 도착 시간까지 부모님에게 안내할 수 있다. 병원 예약부터 이동까지 전 과정을 에이전트가 관리하도록 해, 자녀가 직장 등으로 직접 챙기기 어려운 상황에서도 부모님의 일상을 지원한다는 구상이다.

음성 데이터·통화 지연·노이즈까지…'사람처럼 통화하는 AI'

음성 데이터 활용에 있어서는 개인정보가 포함된 중요 정보는 걸러내 쓰고 있다고 했다. 조 담당은 "에이닷 전화에서 학습에 동의한 이용자가 있다. 다만 학습에 동의한 경우에도 개인정보가 포함된 중요한 정보는 제거하고 있다"고 설명했다.

이어 "국가가 지원하는 AI 허브에도 전화 데이터가 많이 있고, 그런 데이터를 활용할 수 있다. 보유한 데이터를 전혀 활용하지 않는 것은 아니지만 관련 규약에 맞게 관리하고 있고, 정부가 공개한 데이터나 후처리된 고객센터 데이터 등을 활용해 품질을 개선하고 있다"고 덧붙였다.

조현덕 SK텔레콤 에이닷전화 담당이 22일 서울 을지로 SK텔레콤 본사에서 ‘모두의 AI’의 앱리스 AI 서비스와 기술 구현 방향에 대해 설명하고 있다.ⓒSK텔레콤

음성 인식률은 정확한 수치를 제시하지 않았지만 업계 최고 수준이라고 평가했다. 그는 "전화에서는 단순히 문자 하나하나를 정확하게 인식하는 것보다 사용자가 의도한 맥락을 이해하는 STT(Speech-to-Text, 음성 텍스트 변환)가 더 중요하다. 대화의 흐름과 의도를 파악하는 데 더 중점을 두고 있다"고 설명했다.

"1초대 응답속도 목표"…VAD·STT·LLM 최적화로 끊김 없는 통화 AI 구현

'모두의 AI' 서비스에서는 전화을 걸거나 받았을 때 대화 맥락을 이해하고 반응하는 데 걸리는 시간을 단축하는 것이 관건으로 꼽힌다.

조 담당은 "안정적인 TTS와 대화 흐름이 끊기지 않는 수준까지 기술적 완성도를 높이는 것을 목표로 하고 있다"면서 "현재 글로벌 기업을 포함해 현존 기술 중에서는 약 1~1.5초 정도가 좋은 수준으로 보고 있으며 우리도 그 정도 수준의 통화 환경을 구현하고자 한다"고 말했다.

상대방이 말을 멈추면 바로 끼어드는 것도 필수적인 기술이다. 조 담당은 "VAD(Voice Activity Detection, 음성 활동 감지)라는 기술이 있다. 상대방이 일정 시간 말을 하지 않으면 말이 끝났다고 판단하고 STT를 빠르게 동작시켜 LLM으로 넘겨야 한다. 이런 내부 알고리즘을 통화에 맞게 튜닝하는 것이 어렵다"면서 "에이닷 전화와 과거 통화 엔진 등을 개발하면서 이런 부분을 오랫동안 경험해왔기 때문에 통화 환경에 맞는 최적화를 계속하고 있다"고 설명했다.

주변 소음이나 다른 사람의 목소리 즉 노이즈에 대응하는 기술도 필요하다. 조 담당은 "과거부터 통화 서비스를 개발하면서 시스템이나 단말에서 처리하는 기술을 계속 개발해왔고, 이를 에이전트와 연결하는 작업을 진행하고 있다"면서 "통화 품질은 MOS(Mean Opinion Score, 평균 의견 점수)라는 지표로 측정할 수 있다. 5점 만점에서 4점 이상을 통화 품질의 우수성 기준으로 보고 있으며, 에이전트 통화에서도 4점 이상을 만족하도록 설계하고 있다"고 말했다.

모두의 AI 서비스를 활용하는 LLM은 서비스 용도에 맞게 파인튜닝해 쓰겠다는 전략이다. 조 담당은 "통화 요약 서비스의 경우 처음에는 오픈AI LLM을 사용해 통화 요약을 했지만 이후 자체 모델인 에이닷 SLM을 적용했다. 현재도 특정 모델을 보고 해당 모델을 서비스 용도에 맞게 파인튜닝해 사용하는 방식을 고려하고 있다"고 설명했다.

이어 "현재 가장 적합한 모델을 사용하다가 새로운 버전이 나오면 다시 버전업하고 기능을 확대해 출시하는 방식으로 생각하고 있다"면서 "거대 모델은 추론 속도와 처리 속도가 전화에 적합하다고 단정하기 어렵기 때문에 경량화된 모델을 포함해 여러 모델을 준비하고 최적화하고 있다"고 덧붙였다.

베타 서비스는 10월 예정이며 연말 MAU(월간활성이용자수) 목표는 500만명, 내년에는 1000만명을 목표로 한다.

조 담당은 "기술적으로는 STT를 거쳐 텍스트를 LLM에 넣는 방식만으로 처리하면 지연이 크게 발생한다. SFS와 LLM을 어떻게 구조화하느냐가 중요하고, 전화 환경에서 지연을 줄이면서 대화 흐름을 계속 따라가는 것이 가장 어려운 부분"이라고 짚었다.

정부 지원 GPU(그래픽처리장치) 외에 추가 GPU 투입 계획은 아직 없다고 했다. 정부에서 지원받은 GPU를 우선 활용하고, 추가 투입은 개발 과정에서 검토하겠다는 방침이다.

끝으로 조 담당은 "이번 프로젝트에서는 전화와 문자가 굉장히 전통적인 수단이지만 도달률이 거의 100%라는 점에 주목하고 있다. 사용자가 원하는 것을 말해두면 AI가 사용자를 이해하고 해결해준다면 진정한 개인 비서이자 에이전트가 될 수 있다"면서 "통신사는 앞으로 단순히 연결하는 역할을 넘어 사용자를 이해하고 대신 실행해주는 역할을 하게 될 것"이라고 밝혔다.