국산 AI 반도체·LLM·서비스 결합
(왼쪽부터) 김성훈 업스테이지 대표, 백준호 퓨리오사AI 대표, 이건수 AXZ 대표ⓒ업스테이지
업스테이지와 다음 운영사 AXZ, 퓨리오사AI가 손잡고 국내 첫 풀스택 소버린 AI 상용화 사례를 구축한다.
구체적으로는 퓨리오사AI의 NPU 'RNGD(레니게이드)’를 활용해, 업스테이지의 거대언어모델(LLM) ‘솔라’를 탑재한 다음의 ‘AI 요약’ 서비스를 구동하는 방식이다.
김성훈 업스테이지 대표, 이건수 AXZ 대표, 백준호 퓨리오사AI 대표는 성남시 판교에 위치한 AXZ 사옥에 모여 각 사의 계획과 소버린 AI 관점의 3사 협력 방안 등에 대한 대담을 15일 나눴다.
먼저 다음의 AI 요약 서비스를 기반으로 한 이번 협력 사례에 대해 각사의 설명이 진행됐다.
이건수 대표는 “다음 AI 요약은 LLM이 웹 문서를 직접 분석해 검색 결과에 대한 종합적인 답변을 정리해주는 기능”이라며 “다음 검색창에 키워드를 입력하면 핵심 요약과 근거를 함께 제공하며, 내용이 바뀌면 AI가 자동 반영해 늘 최신 정보를 확인할 수 있다”고 설명했다.
이 대표는 AI 요약을 개발하면서 “LLM의 고질적인 환각(할루시네이션)을 제어하기 위해 정확한 최신 정보만 전달할 수 있도록 하네스 엔지니어링을 고도화했다”며 “키워드 검색과 벡터 기반 서치를 조합한 하이브리드 서치를 이용해 솔라 LLM에게 가장 관련성 높은 최신 정보를 전달하고 있다”고 말했다.
백준호 대표는 “AI 요약 처리를 위해 3개 노드로 하루 5억 개의 토큰을 처리하고 있다”고 밝혔다. 이를 위한 최적화 작업을 통해 “AI 모델을 가속기에 잘 매핑할 수 있는 컴파일러와 최적의 서빙을 위한 엔진 개발 등 하드웨어-소프트웨어를 원천 설계로 구성해 H200와 대등한 성능을 내고 있다"고 설명했다.
실제로 퓨리오사AI NPU를 도입했을 때 추론 비용절감 효과는 50% 이상에 달한다는 설명이다.
백준호 대표는 “국산 NPU는 토큰 비용을 획기적으로 절감할 수 있고, GPU보다 전성비(전력 대비 성능)와 가성비가 높다”라며, “국제정세를 고려했을 때 전략적 관점에서도 소버린 AI 반도체와 모델, 서비스의 결합이 필요하다”고 말했다.
이어 각사의 향후 계획에 대한 설명이 이어졌다.
이건수 대표는 “현재 베타 서비스 중인 AI 요약은 전체 질의 규모의 20% 정도를 처리하고 있지만 점진적으로 늘려갈 계획”이라며 “단순 요약을 넘어 쇼핑, 맛집 검색 등 버티컬로 확장하고, 다음을 통해 사용자에게 특화된 ‘1인 1에이전트’를 보급할 준비도 하고 있다”고 밝혔다.
백준호 대표는 “고도화된 에이전틱 AI 서비스를 좋은 토큰 가격에 지원할 수 있도록 제품을 확장하고 있다”며 “퓨리오사AI 칩도 세대를 거듭하며 성능과 가성비를 계속 높여, 글로벌 반도체 대비 우월한 경쟁력을 확보하겠다”고 말했다.
김성훈 대표는 솔라의 경쟁력으로 자체적인 소형 모델 설계로 확보한 글로벌 프런티어급 성능과 한국어 특화 역량을 꼽으며 “해외 빅테크 모델에 맞설 수 있는 국산 LLM 성능을 더욱 고도화해 나가겠다”고 밝혔다. 이어 “임베딩 모델도 올리고 싶은데 칩 확보가 어렵다”고 하자, 백준호 대표는 “이미 양산에 성공적으로 돌입한 레니게이드는 연내 1만 장까지 충분히 공급 가능하다”고 답했다.
3사가 한국 AI 생태계 발전을 위해 바라는 점을 전달하며 대담은 마무리됐다.
이건수 대표는 “생태계 활성화를 위해 AI 요약 서비스를 더 많이 이용해달라”고 당부했고 백준호 대표는 “레니게이드는 GPU에 대등한 성능으로 2배까지 비용 절감이 가능한 만큼, 기업들이 AX 작업을 할 때 적극 고려해달라”고 말했다. 김성훈 대표는 “독자 AI 파운데이션 모델 프로젝트 등을 통해 곧 공개될 업스테이지 차세대 모델에도 많은 관심을 부탁드린다”고 전달했다.
한편 업스테이지는 지난달 기자간담회에서 자체 거대언어모델(LLM) '솔라 오픈 2'를 공개하고, 다음·타임리와 함께 '업스테이지 컴퍼니'를 출범해 AI 모델과 포털, 에이전트를 결합한 AI 생태계 구축 전략을 제시한 바 있다.
0
0
기사 공유
댓글
댓글 쓰기