[현장] LG유플러스, KT 이어 내년 토큰 사업…"AI 성능 높이고 청구서는 낮춘다"

협력사 제휴·자체 인프라 구축 병행…토큰 원가 경쟁력 확보

하네스·모델 라우팅·경량화·칩 믹스 총동원…AI 운영비 절감

업무당 토큰 비용 낮춰 B2B 에이전트 확산…“AI를 실제 일하는 직원으로”

LG유플러스는 12일 기자들을 대상으로 'AI 토큰 최적화 스터디'를 개최하고, 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향을 공개했다. 사진은 이상엽 LG유플러스 CTO(전무)가 스터디 현장에서 발표하는 모습.ⓒLG유플러스

LG유플러스가 KT에 이어 내년 토큰팩토리 사업에 나선다. 협력사와의 제휴 및 자체 인프라 구축을 병행해 토큰 원가 경쟁력을 확보하고 기업 고객의 총소유비용(TCO)을 낮춘다는 구상이다.

김현민 LG유플러스 엔터프라이즈부문 AI사업그룹 팀장은 지난 12일 서울 광화문 위드스페이스에서 열린 '토큰 Opt.U+ 기술 전략과 연구 방향 기자스터디'에서 이같이 밝혔다.

이 팀장은 "내년부터 토큰 사업을 시작한다. 사업 방식은 협력사와 함께하는 제휴 방식과 저희가 직접 구축하는 방식으로 추진할 계획"이라며 "토큰 원가 경쟁력을 확보하고 고객의 총소유비용(TCO) 관점에서 전체 고객의 토큰 사용 비용을 줄여주는 사업"이라고 설명했다.

그러면서 그는 "고객의 AI 성능은 높이고 AI 청구서는 낮추겠다는 것이 (토큰팩토리) 사업의 핵심"이라고 강조했다.

LG유플러스는 토큰 최적화 기술을 통해 사업 경쟁력을 확보한다는 전략이다. 에이전트 설계부터 모델 라우팅, 경량화, 추론 최적화, GPU(그래픽처리장치)·NPU(신경망처리장치) 활용까지 AI 서비스 전 과정을 최적화해 고객의 AI 성능은 높이고 비용 부담은 낮춘다.

단순히 토큰당 가격을 낮추는 것이 아니라 하나의 업무를 완수하는 데 들어가는 전체 비용을 줄이는 데 초점을 맞췄다.

이상엽 LG유플러스 CTO(전무)는 "AI의 진짜 비용은 답변을 생성하는 데 드는 비용이 아니라 업무를 완료할 때까지 발생하는 전체 비용"이라고 강조했다. 에이전트가 하나의 업무를 수행하는 과정에서 검색과 추론, 도구 호출 등을 반복하면 토큰 소비가 급증하는 만큼 불필요한 경로와 반복 작업을 줄이는 것이 핵심이라는 설명이다.

이를 위해 LG유플러스는 에이전트의 작업 경로를 최적화하는 '하네스 엔지니어링'을 비롯해 질문 난이도와 목적에 따라 적합한 모델을 선택하는 '다이내믹 쿼리 라우팅'을 추진하고 있다.

LG유플러스는 하네스 엔지니어링을 통해 일반 질의에서 약 40%, 코딩 영역에서 85~90% 이상의 토큰 효율화가 가능하다고 설명했다. 내부 PoC(개념검증)에서는 모델 라우팅을 통해 일반 업무에서 25% 이상, 코딩 에이전트에서 30% 이상의 토큰 사용량을 줄였다.

모델 경량화와 추론 최적화도 핵심 기술이다. LG유플러스는 양자화와 지식 증류 등을 활용해 모델 크기를 줄이면서 성능 저하를 최소화하는 연구를 진행하고 있다. 서비스 운영 경험을 활용한 모델 조합과 라우팅도 토큰 최적화의 한 축이다. LG유플러스는 익시오(ixi-O) 등 AI 서비스를 운영하면서 고객의 의도를 파악하고 목적에 도달하는 최적의 경로를 설계하는 데 주력하고 있다.

익시오는 출시 초기 LG AI연구원과 개발한 온디바이스 모델을 활용하고, 고난도 추론에는 구글 제미나이를 사용하는 방식으로 운영됐다. 이후 자체 모델의 트래픽 비중을 늘리는 한편, 복잡한 작업에는 외부 모델을 활용하는 하이브리드 구조를 유지하고 있다.

하드웨어를 작업 특성에 따라 분산하는 칩 믹스 전략도 추진한다. 연산량이 많은 작업은 엔비디아 GPU에, 메모리 사용량이 많은 디코딩 작업은 AMD GPU에 배치하고, 비교적 간단한 작업은 NPU를 활용하는 방식이다.

LG유플러스는 12일 기자들을 대상으로 'AI 토큰 최적화 스터디'를 개최하고, 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향을 공개했다. 사진은 (왼쪽부터) LG유플러스 권기덕 AX엔지니어링Lab장(담당), 이상엽 CTO(전무), 이혜진 기술전략담당, 김현민 소버린클라우드사업팀장이 기자들의 질문에 답변하는 모습.ⓒLG유플러스

이상엽 LG유플러스 전무는 "최근 개발자들의 토큰 사용량을 보면 이전보다 3배 이상 늘었다. 토큰 사용량을 줄이기 위해 여러 레시피를 적용해 본 결과, 다양한 방식으로 90% 이상 절감할 수 있는 PoC를 진행한 경험이 있다"고 말했다. 그는 "이런 레시피는 서비스 사업자가 보유할 수 있는 강점"이라며 "이를 통해 전체적인 토큰 단가를 낮출 수 있다"고 덧붙였다.

토큰 최적화 기술의 구체적인 적용 사례도 소개됐다. 권기덕 LG유플러스 엔지니어링랩장은 프리필(Prefill)과 디코드(Decode) 영역을 분리하는 방식을 들었다.

프리필은 입력 정보를 처리하는 단계로 연산량이 많고, 디코드는 답변을 생성하는 단계로 메모리 사용량이 크다. 같은 고객의 질문이 계속 들어오더라도 연산 속도가 빠른 엔비디아 GPU가 프리필을 처리하고, 연산이 끝난 결과와 키·값(KV) 캐시를 메모리 용량이 큰 AMD GPU로 넘기면 디코딩 과정에서 토큰을 더 빠르게 생성할 수 있다고 권 랩장은 말했다.

권 랩장은 "두 GPU를 함께 활용하면 한쪽에서는 질문을 계속 받아 프리필을 처리하고, 다른 쪽에서는 디코딩을 수행할 수 있어 전체 토큰 처리량을 높일 수 있다"고 언급했다.

두 번째 사례는 MoE(Mixture of Experts, 전문가 혼합) 모델이다. 모델은 크게 하나의 덩어리로 구성된 밀집형(Dense) 모델과 여러 전문가 모델을 내부에 두는 MoE 모델로 나뉜다. MoE는 질문에 답변할 때 필요한 일부 전문가 모델을 활용하기에 빠르게 답변을 생성할 수 있다.

권 랩장은 "자주 활용되는 전문가 모델은 엔비디아 GPU에 올리고, 활용 빈도가 낮은 전문가 모델은 구형 GPU나 다른 하드웨어에 배치하는 식으로 하드웨어를 분리해 하나의 답변을 생성할 수 있다"고 설명했다.

토큰 생성 속도와 답변 품질은 별개로 봐야 한다는 점도 강조했다. 권 랩장은 "하나의 모델을 100명, 200명, 300명이 동시에 사용한다면 토큰을 빠르게 생성해야 다음 사용자의 요청도 처리할 수 있다. 토큰 생성 속도를 높인다는 것은 결과적으로 전체 토큰 처리량을 극대화한다는 의미"라고 말했다.

다만 모델 경량화가 모든 작업에서 품질을 보장하는 것은 아니다. 권 랩장은 "모델 크기를 줄이면 큰 모델을 사용할 때보다 성능이 떨어질 수밖에 없다. 딥 리서치처럼 난도가 높은 작업에 경량화 모델을 사용하면 성능이 저하될 수 있다"면서 "모든 고객 요청이 고난도 작업은 아니기에 간단한 질문에는 모델을 경량화해 빠르게 토큰을 생성하더라도 고객이 원하는 수준의 답변을 제공할 수 있다"고 말했다.

이혜진 LG유플러스 CTO부문 기술전략담당은 "비용을 낮추는 방향으로 토큰을 최적화할 때 성능 저하가 발생하면 오히려 에이전트가 더 많이 작동해 비용이 늘어날 수 있다"면서 성능을 담보하면서 어떤 기술을 조합하는 것이 가장 효과적인지, 이른바 '골든 셋(Golden Set)'을 찾는 것이 토큰 최적화의 핵심 과제라고 강조했다.

토큰 최적화가 이뤄졌을 때 고객이 얻는 혜택에 대해 LG유플러스는 '체감 가격'이라고 강조했다. 이혜진 기술전략담당은 "B2C 관점에서는 지금까지 비용 부담 때문에 충분히 이용하지 못했던 초고성능 AI를 커피 한 잔 값으로 이용할 수 있게 되는 것이 가장 큰 혜택"이라고 밝혔다.

이 담당은 "B2B 고객 입장에서는 인력을 줄이기 위해 AI를 도입했는데, AI가 이른바 '돈 먹는 하마'가 되는 상황이 문제"라며 "비용이 많이 드는 AI를 어떻게 실제로 일하는 직원으로 만들 수 있느냐가 고객에게 가장 필요한 혜택"이라고 설명했다.

그는 "기업들은 인력을 일부 대체하더라도 그만큼의 가치를 제공하는 에이전트 직원을 도입하고 싶어 한다. 이를 실제 업무에 투입할 수 있게 하는 핵심 열쇠가 토큰 최적화"라고 강조했다.

끝으로 빅테크가 경량화 모델을 잇달아 출시하는 상황에서 LG유플러스만의 경쟁력을 묻자, 이 전무는 "토큰 최적화의 경쟁 상대는 빅테크 모델 자체가 아니다"라면서 "모델 간의 경쟁이라기보다는 고객의 태스크를 얼마나 더 낮은 비용으로 처리할 수 있도록 엔지니어링하느냐의 문제"라고 설명했다.