카카오, AI 모델 넘어 에이전트까지 안전성 검증…평가도구도 개발 추진

인공지능안전연구소와 MOU…언어모델 배포 전후 평가부터 단계적 확대

멀티모달·AI 에이전트까지 검증 범위 넓혀…카나나 안전성 체계 고도화

(왼쪽부터)김세웅 카카오 AI 시너지 성과리더와 김명주 인공지능안전연구소 소장이 MOU 체결 이후 기념사진을 촬영하고 있다.ⓒ카카오

카카오가 자체 AI 모델뿐 아니라 AI 에이전트까지 외부 전문기관과 공동 검증하는 안전성 평가 체계를 구축한다. 언어모델의 배포 전후 평가를 시작으로 멀티모달 모델과 에이전트까지 대상을 넓히고, 향후 공동 평가도구 개발에도 나선다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 전략적 업무협약(MOU)을 체결했다고 29일 밝혔다.

협약에 따라 카카오는 안전성 평가 대상인 자사 AI 모델과 AI 에이전트를 제공하고 평가와 도구 개발에 필요한 인프라를 지원한다. 인공지능안전연구소는 평가 수행과 방법론 고도화를 맡는다.

양측은 평가 결과를 함께 검토하고 외부 공개 범위도 협의한다. 특정 모델을 한 차례 검증하는 데 그치지 않고 AI 서비스 개발 과정에서 반복적으로 활용할 수 있는 평가 기반을 만든다는 구상이다.

협력은 3단계로 추진한다. 먼저 언어모델을 대상으로 배포 전·후 안전성 평가를 실시한다. 이후 텍스트뿐 아니라 이미지·음성 등을 다루는 멀티모달 언어모델과 AI 에이전트로 평가 대상을 넓힌다. 마지막 단계에서는 모델과 에이전트의 안전성을 보다 효율적으로 검증하기 위한 평가도구를 공동 개발한다.

카카오와 인공지능안전연구소의 협력은 이번이 처음은 아니다. 양측은 지난해 카카오 자체 언어모델 'Kanana-1.5-9.8B'를 공동 평가했다. 당시 카카오는 유사 규모의 해외 공개 모델을 비교군으로 두고 유해 응답이나 안전장치 우회 공격 등에 대한 대응력을 점검했다.

카카오는 자체 검증 체계도 넓혀왔다. 지난 8월에는 경량 언어모델 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'를 자체 AI 안전성 평가 플랫폼으로 검증하고 결과를 공개했다. 카카오에 따르면 두 모델은 한국어 특화 안전성 벤치마크를 활용한 평가에서 유사 규모의 글로벌 오픈소스 모델보다 높은 종합 점수를 기록했다.

AI 안전 기술을 외부 인프라에 적용하는 작업도 병행하고 있다. 카카오는 지난 6월 kt cloud와 협약을 맺고 자체 가드레일 모델 '카나나 세이프가드'와 모델 안전성 평가·레드티밍 도구 등을 클라우드 환경에 적용한 뒤, 관련 도구를 통합 관리하는 플랫폼을 공동 구축하기로 했다.

김세웅 카카오 AI 시너지 성과리더는 "이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증 체계를 갖추게 됐다"며 "기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 지속적으로 노력하겠다"고 말했다.

김명주 인공지능안전연구소 소장은 "AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 무엇보다 중요하다"며 "카카오와의 협력을 통해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다"고 밝혔다.