30일 AI 모델 73종으로 출시…11월 500종 이상으로 확대
모델 선택·비용 관리 통합…자체 추론·통신 결합으로 수익 확보
이진형 KT AX사업본부장이 27일 AX 전략 설명회에서 토큰팩토리를 설명하고 있다.ⓒ데일리안 박상준 기자
KT가 통화 및 데이터 요금제에 이어 고객의 인공지능(AI) 이용량을 새로운 수익원으로 삼는다. 여러 AI 모델을 연결하고 사용량과 비용을 통합 관리하는 '토큰팩토리'를 통해서다.
KT는 27일 서울 종로구 광화문 웨스트 빌딩에서 'AX 전략 설명회'를 열고 오는 30일 '토큰팩토리'를 출시한다고 밝혔다. 초기에는 AI 모델 73종을 제공하고, 11월 글로벌 AI 중개 플랫폼 오픈라우터와 연계해 500종 이상으로 선택지를 넓힌다.
토큰은 AI가 질문과 문서 등을 처리하고 답변을 생성하는 기본 단위이자 이용료 산정 기준이다. AI가 복잡한 추론과 업무 수행을 맡을수록 처리량도 늘어나는 만큼, 기업에는 필요한 모델을 합리적인 비용으로 활용하는 일이 중요해졌다.
이날 설명회에서는 AI로 로또 번호 분석 프로그램을 만드는 시연이 이뤄졌다. 작업 과정이 화면에 표시되는 동안 토큰 사용량과 비용도 함께 올라갔다. 이진형 KT AX사업본부장은 "약 3600만 토큰을 사용해 15 달러 가량의 비용이 발생했다"고 설명했다.
KT AX사업 주요 담당자들이 27일 전략 설명회에서 기자들의 질문에 답하고 있다.ⓒ데일리안 박상준 기자
요약에는 가벼운 모델…AI 선택부터 청구까지 한곳에서
토큰팩토리는 하나의 연결 창구인 API(애플리케이션 프로그래밍 인터페이스)로 여러 AI 모델을 이용하도록 한다. 모델마다 별도로 연결하고 비용을 정산하는 부담을 줄이고, 사용량 확인과 원화 결제를 통합한다.
핵심은 업무에 적합한 모델을 자동 선택하는 '오토 모델 라우터'다. 질문의 난이도와 요구 품질, 비용, 고객이 허용한 모델 범위를 따져 연결 대상을 정한다. 요약·번역에는 경량 모델을, 복잡한 분석에는 고성능 모델을 배정하는 방식이다.
입력 문장에서 불필요한 표현을 덜어내는 프롬프트 압축 기술도 적용했다. KT는 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰을 줄일 수 있다고 설명했다.
KT가 제시한 최대 25% 절감 효과는 두 기술을 합친 수치다. 질의응답에서는 프롬프트 압축으로 입력 토큰을 약 20% 줄이고, 모델 선택 최적화로 비용을 추가 절감한다고 설명했다. 모든 모델의 요금을 일괄적으로 25% 낮추는 구조는 아니다.
과금에는 통신 이용내역을 기록하는 방식을 적용한다. 토큰별 사용 기록을 남겨 요금 산정 근거를 관리하고 기업 통신요금과 함께 청구할 수 있도록 한다. 사용량에 따라 선불·후불로 정산하는 스탠다드와 이용 규모·기간 약정에 따른 할인 및 맞춤형 환경을 제공하는 엔터프라이즈 요금제를 마련했다.
KT 토큰팩토리 연결 개요.ⓒ데일리안 박상준 기자
AI 중개 경쟁 본격화…국내 인프라·통신 결합으로 차별화
AI 이용량을 사업화하려는 움직임은 통신업계 전반으로 확산하고 있다.
SK텔레콤은 이달 고객의 AI 사용 패턴에 맞춰 모델과 연산 인프라를 연결하는 '토큰 게이트웨이' 구상을 내놨다. 해외에서는 싱가포르 싱텔이 여러 AI 모델의 이용량을 구독하는 기업용 토큰 서비스를 출시했다. 통신사들이 보유한 데이터센터와 네트워크, 과금 체계를 AI 공급에 활용하려는 흐름이다.
KT는 국내 인프라에서 직접 추론 서비스를 제공하고 기존 기업 사업과 결합하는 방식으로 수익을 확보한다는 계획이다. 출시 시점 73종 모델 가운데 KT·국내 AI 기업의 모델과 공개 가중치를 활용하는 오픈웨이트 모델 등 7종을 국내 데이터센터에서 운영한다.
다만 모든 모델이 국내에서 데이터를 처리하는 것은 아니다. KT는 "오픈라우터를 통해 연결하는 모델의 처리 지역은 공급자에 따라 달라지며, 대부분 해외일 가능성이 크다"고 설명했다.
보안 기능으로는 입력과 출력에 포함된 개인정보·민감정보, 유해 표현을 점검하는 자체 가드레일을 제공한다. 기업의 요구에 따라 전용선과 서비스 품질 보장 등도 결합한다.
이 본부장은 수익 구조에 대해 "수수료가 메인 비즈니스 모델은 아니다"라고 강조했다. 자체 데이터센터의 GPU로 추론 서비스를 공급해 수익을 확보하고, 외부 모델은 전용망·프라이빗 클라우드·기업 AX 구축 사업과 연결한다는 설명이다.
KT는 연말까지 기업 고객 공략에 집중하고 내년 3월 개인 개발자로 이용 대상을 확대한다. 오픈라우터를 통한 국내 AI 모델의 해외 유통도 추진한다. 모델을 많이 연결하는 것에 더해 기업의 실제 비용을 줄이고 안정적인 업무 환경을 제공할 수 있을지가 경쟁력을 가를 전망이다.
댓글 쓰기