글로벌 AI 컴퍼니 노리는 SKT…텔코LLM으로 혁신 이끈다

통신 영역 전문성 확보한 ‘LLM’ 나온다

에이닷·GPT·클로드까지 ‘멀티LLM’ 전략

특화LLM으로 통신사 비용·시간 단축 기대

한국어 모델 먼저…글로벌향 모델도 ‘곧’

에릭 데이비스 SKT AI 기술 협력 담당이 30일 SKT타워 수펙스홀에서 텔코LLM의 개발 배경과 과정에 대해 설명하고 있다. ⓒ데일리안 김성아 기자

SK텔레콤(SKT)이 통신 특화 거대 언어 모델(LLM)을 통해 글로벌 인공지능(AI) 혁신의 발을 뗀다.

SKT는 통신 서비스와 통신사의 내부 지침을 학습한 ‘텔코LLM’을 6월 중 개발 완료할 예정이라고 30일 밝혔다.

텔코LLM은 GPT, 클로드 등 범용 LLM과 달리 통신업에 특화된 LLM이다. 통신사의 서비스나 상품, 멤버십 혜택 고객 상담 패턴 등의 정형·비정형 데이터를 기존 범용 LLM에 학습시키고 업의 특성에 맞게 미세 조정하는 ‘파인튜닝’을 거쳤다.

특히 텔코LLM은 SKT의 에이닷엑스(A.X)뿐 아니라 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 한 ‘멀티LLM’ 전략을 차용한 것이 특징이다. 사용자가 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 사용하도록 하는 것이다.

에릭 데이비스 SKT AI 기술 협력 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

이어 “각 활용 사례마다 요구하는 LLM의 기능, 속도, 비용 등이 상이할 텐데 다양한 LLM이 옵션으로 있으면 활용도가 더 높을 것”이라고 덧붙였다.

업무 시간·비용 줄여주는 텔코 LLM…B2B 수익 모델 기대

ⓒSKT

SKT는 텔코LLM이 현재 기업들이 많이 사용하고 있는 범용 LLM 대비 통신업 영역에서는 높은 수준의 생성형 AI 작업을 수행할 수 있다고 밝혔다.

이는 SKT의 텔코LLM 구축 과정을 들여다보면 이해가 쉽다. 텔코LLM은 데이터 수집 단계부터 통신업 관련 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 범용LLM에 해당 데이터를 학습시켜 통신사 전용으로 파인튜닝하는 과정을 거치고 휴먼 피드백 기반 강화 학습(RLHF)을 진행, 최종적으로 모델 평가를 통해 성능을 고도화한다.

에릭 담당은 “사내에 시범 적용하고 있는 지금 수준의 개발까지 8개월 정도 소요됐는데 구축 사이클을 여러 번 돌리면서 고도화했다”며 “상용화 이후에도 계속되는 RLHF를 통해 달마다 LLM 수준을 고도화하는 작업을 할 것”이라고 말했다.

통신업 특화 구축 작업은 기존 범용LLM이 제공하지 못했던 전문적 답변까지 제공 가능하다. 예를 들어 고객이 요금제를 문의하거나 부가서비스 변경을 요청했을 때 범용 LLM은 전문적 답변이 어려웠으나 텔코LLM은 데이터를 기반으로 한 보다 정확한 답변을 줄 수 있게 된다.

이에 따라 텔코LLM을 적용한 통신사는 다양한 사업 방면에서 업무 시간과 비용 등을 줄일 수 있다. 일례로 고객 센터에서 상담사가 고객 문의 내용을 정리하고 필요한 문서를 검색, 요약해 답을 한 후 상담 내용을 기록하는 것까지 전 과정에 숙력되는 데 많은 비용과 경험, 교육이 필요했다면 텔코LLM은 이 과정을 한 번에 줄일 수 있다.

통신사 네트워크 인프라 운용에도 활용 가능하다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변받을 수 있다 또 장비 매뉴얼, 대응 사례 등 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에 사람이 직접 정보를 찾는 것보다 재응 시간을 단축시킬 수 있다.

ⓒSKT

SKT는 이러한 강점을 바탕으로 자사뿐만 아니라 타 통신사에 텔코LLM을 적용 시키는 사업모델을 구축했다. 추후 텔코LLM을 바탕으로 생성형 AI 애플리케이션을 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공급할 예정이다. 인텔리전스 플랫폼은 멀티LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG, Retrieval Augmented Generation)을 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다.

정민영 SKT AI 플랫폼 담당은 “고객센터, 인프라뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR과 같은 사내 업무까지 토시낫 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 수 있을 것”이라며 “지속적으로 텔코LLM을 활용한 사례를 늘려갈 계획”이라고 밝혔다.

한국어 LLM 먼저 나온다…“다국어 모델로 개발 중”

텔코LLM은 현재 개발 중으로 내부적으로 기준을 충족한 개발 완료 시점은 6월 중으로 예상되고 있다. SKT는 우선 한국어로 된 텔코LLM을 개발해 자사 고객센터 등에 먼저 적용한다는 방침이다.

글로벌 모델은 독일, 미국 등 협력사와 합의가 마친 시점에 데이터 수집 등을 통해 개발할 계획이다. 다만 다국어 모델 개발이 그리 늦지는 않을 것이라는 분위기다.

에릭 담당은 “처음 앤트로픽의 클로드 기반 텔코LLM을 만들 때에는 시간이 오래 걸렸지만 이후 다른 범용LLM에 적용할 때는 시간이 적게 걸렸다”며 “통신사는 공유하고 있는 표준어나 서비스들이 많아서 글로벌향 개발이 더 쉬울 것으로 예상된다”고 말했다.

이어 “추후 영어, 일어 등 한국어보다 화자수가 많은 언어를 기반으로 한 텔코LLM이 개발되더라도 통신사 데이터를 공유하고 있는 것은 같기 때문에 글로벌 LLM 전체적으로 성능 개선도 기대된다”고 덧붙였다.