'국가대표 AI' 노리는 카카오, 경량 멀티모달 언어모델 공개…오픈소스로 제공

프롬 스크래치 방식으로 개발…국내외 모델 대비 높은 성능

'MoE 모델' 국내 최초 오픈소스 공개…효율적인 컴퓨팅 자원

활용 및 비용 절감 강점…"국내 AI 생태계 자립성 및 경쟁력 기여"

카카오가 경량 멀티모달 언어모델 'Kanana-1.5-v-3b'와 MoE 언어모델 'Kanana-1.5-15.7b-a3b'를 오픈소스로 공개했다. 사진은 카카오 경량 멀티모달 언어모델과 국내외 모델과의 성능 비교 도표.ⓒ카카오

카카오가 국내 공개 모델 중 최고 성능의 경량 멀티모달 언어모델과 MoE 모델을 오픈소스로 공개했다. 정부 '독자 AI(인공지능) 파운데이션 모델' 개발 프로젝트에 도전장을 내민 가운데, 자체 AI 기술 개발 능력을 재차 입증하고 나섰다.

카카오는 24일 허깅페이스를 통해 ▲이미지 정보 이해 및 지시 이행 능력을 갖춘 경량 멀티모달 언어모델 'Kanana-1.5-v-3b'와 ▲MoE(Mixture of Experts) 언어모델 'Kanana-1.5-15.7b-a3b'를 오픈소스로 공개했다.

Kanana-1.5-v-3b는 텍스트 뿐만 아니라 이미지 정보도 처리할 수 있는 멀티모달 언어모델로, 지난 5월 말 오픈소스로 공개한 Kanana 1.5 모델을 기반으로 하고 있다.

Kanana 1.5는 모델 개발의 처음부터 마지막 단계까지 카카오의 자체 기술을 바탕으로 구축하는 '프롬 스크래치(From Scratch)' 방식으로 개발됐다.

멀티모달 언어모델인 Kanana-1.5-v-3b는 이용자의 질문 의도를 정확히 이해하는 높은 지시 이행(instruction following) 성능과 뛰어난 한국어·영어 이미지 이해 능력을 보유한 것이 특징이다. 경량 모델이지만 이미지로 표현된 한국어와 영어 문서 이해 능력은 글로벌 멀티모달 언어모델 GPT-4o와 견줄 수 있을 정도다.

이 모델은 한국어 벤치마크에서 유사 사이즈의 국내외 공개 모델과 비교한 결과 최고 점수를 기록했다. 다양한 영어 벤치마크에서 해외 오픈소스 공개모델과 비교했을 때도 유사한 수준의 성능을 보였다.

지시 이행 능력 벤치마크에서는 국내 공개된 유사한 규모의 멀티모달 언어모델 대비 128% 수준의 성능을 기록했다.

Kanana-1.5-v-3b는 경량 멀티모달 언어모델의 강점을 토대로 ▲이미지 및 글자 인식 ▲동화 및 시 창작 ▲국내 문화유산 및 관광지 인식 ▲도표 이해 ▲수학 문제풀이 등 여러 분야에서 활용할 수 있다.

카카오는 모델의 성능에 집중하는 단계를 넘어 AI가 사람처럼 생각하고 행동할 수 있는 멀티모달 이해 능력, 사용자 지시 수행 능력, 추론능력을 갖추도록 발전시키는 데 주력하고 있다. 하반기에는 에이전트형 AI 구현에 필수적인 추론 모델의 성과도 공개할 예정이다.

카카오의 MoE 언어모델 'Kanana-1.5-15.7b-a3b'와 카카오의 기존 모델 성능을 비교한 도표.ⓒ카카오

카카오는 이날 일반적인 밀집(Dense) 모델과 차별화되는 MoE(Mixture of Experts) 구조의 언어모델을 오픈소스로 함께 공개했다.

MoE는 입력 데이터 처리 시 모든 파라미터가 연산에 참여하는 기존 모델과 달리, 특정 작업에 최적화된 일부 전문가 모델만 활성화되는 방식으로 효율적인 컴퓨팅 자원 활용과 비용 절감이 강점이다.

MoE 아키텍처를 적용한 Kanana-1.5-15.7b-a3b는 전체 15.7B의파라미터 중 추론 시 약 3B 파라미터만 활성화돼 동작한다.

카카오는 모델의 학습 시간과 비용을 절약하기 위해 자사의 3B 규모의 모델 'Kanana-Nano-1.5-3B'에 '업사이클링(Upcycling)' 방식을 적용해 개발했다. 업사이클링은 기존 다층 신경망(MLP, Multi-Layer Perceptron) 레이어를 복제해 여러 전문가 레이어로 변환하는 방식이다. 활성화되는 파라미터가 3B에 불과하지만 성능은 'Kanana-1.5-8B'와 동등하거나 상회하는 수준을 기록했다.

카카오는 이번 경량 멀티모달 언어모델과 MoE 모델의 오픈소스 공개를 통해 AI 모델 생태계에 새로운 기준을 제시하고, 더 많은 연구자와 개발자가 효율적이고 강력한 AI 기술을 자유롭게 활용할 수 있는 기반을 마련해 갈 계획이다.

이와 함께 자체 기술 기반의 모델을 지속적으로 고도화하고, 모델 스케일업을 통해 글로벌 플래그십 수준의 초거대 모델 개발에 도전함으로써 국내 AI 생태계의 자립성과 기술 경쟁력 강화에 기여한다는 방침이다.

카카오 김병학 카나나 성과리더는 "이번 오픈소스 공개는 비용 효율성과 성능이라는 유의미한 기술 개발의 성과를 거둔 것으로, 단순한 모델 아키텍처의 진보를 넘어 서비스 적용과 기술 자립이라는 두 가지 측면의 목표에 부합하는 결과물"이라고 말했다.