'독파모' 3강서 모티프 고배…사용성·활용성이 당락 갈랐다(종합)

벤치마크·전문가·사용자 평가 종합…근소한 점수 차로 승패 결정

모티프, 기술력 인정받았지만 사용성·활용성에서 상대적으로 낮은 평가

업스테이지·SKT·LG AI연구원 진출…3단계 B200 GPU 1000장 지원

류제명 과기정통부 2차관이 18일 오전 서울 종로구 정부서울청사에서 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가 결과를 발표하고 있다.ⓒ데일리안 조인영 기자

정부 주도의 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가에서 업스테이지, SK텔레콤, LG AI연구원이 다음 단계에 진출했다. 2차 단계부터 경쟁에 합류한 모티프테크놀로지스는 기술력은 인정받았지만 사용성과 활용성에서 상대적으로 낮은 평가를 받아 탈락했다.

이번 2차 평가는 1차와 같은 100점 만점 체계를 유지하되, 벤치마크를 AAII(Artificial Analysis Intelligence Index) 25점과 NIA(한국지능정보사회진흥원) 15점으로 재편하고 사용자 평가에 일반 국민 평가단 10점을 신설하는 등 실제 사용자 체감 성능과 활용성 검증을 강화했다.

AAII 글로벌 평가 도입…1·4위 점수 격차 4점

과학기술정보통신부와 정보통신산업진흥원(NIPA)은 18일 오전 정부서울청사 브리핑실에서 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가 결과 브리핑을 열고 이같은 결과를 발표했다.

류제명 과기정통부 2차관은 "벤치마크·전문가·사용자 평가 모두 격차가 미세했다. 어떤 항목이 (당락에) 결정적이었다고 보기 어려울 정도"라며 "각 항목별 격차가 종합적으로 만들어낸 결과"라고 설명했다.

2차 단계평가는 벤치마크 평가(배점 40점), 전문가 평가(배점 35점), 사용자 평가(배점 25점)를 병행하는 입체적 평가로 진행됐다.

벤치마크 평가는 AAII 벤치마크 평가(배점 25점)와 NIA 벤치마크 평가(배점 15점)로 구성됐다.

과기정통부는 정예팀들의 AI모델 개발 역량이 글로벌 프론티어 수준에 도달할 수 있도록 견인하고, 벤치마크 평가의 대내외 공신력을 확보하기 위해 이 같은 AAII 벤치마크 평가를 도입했다고 설명했다.

NIA 벤치마크 평가는 수학, 지식, 장문이해, 지시이행, 한국어뿐 아니라, 안전성, 신뢰성 분야까지 포괄하여 벤치마크를 구성했으며 이를 통해 종합적 성능을 평가하는 데 주안을 뒀다.

벤치마크 평가(배점 40점) 4개 정예팀 전체 평균은 22.5점이며, 1위와 4위 간 점수 격차는 4.0점이다.

ⓒ과학기술정보통신부

전문가 10명, 개발전략·성과·파급효과 등 심층 평가

전문가 평가는 외부 AI전문가로 구성된 전문가위원회를 구성해, 정예팀이 제출한 평가서류 등을 바탕으로 약 일주일 내외 간의 평가를 진행했다.

정예팀들의 개발 전략 및 기술(배점 10점), 개발 성과 및 계획(배점 10점), 파급효과 및 기여계획(배점 15점)을 중심으로 심층 평가했다.

전문가위원회는 AI 알고리즘, 서비스, 데이터 분야 등의 전문성을 보유한 전문가들로, 이해충돌 문제가 없는 10명이 평가에 참여했다.

단순한 독자성 확보 여부에서 나아가, '독자성 및 이를 기반으로 한 성능 향상 수준'을 전문가 평가 항목에 반영함으로써, 독자적 기술이 실제 AI모델 성능 향상으로 이어지는 경우, 이를 높게 평가할 수 있도록 했다.

또한 국내외 AI생태계 파급효과·기여계획에 대한 평가 비중을 확대함으로써, 단순 고성능 AI모델 개발 평가에서 나아가, 실질적인 현장 확산 등 국내 AX(AI Transformation, AI전환) 등의 확대를 유도하는 데에 주안을 뒀다.

전문가 평가(배점 35점) 4개 정예팀 전체 평균은 28.8점이며, 1위와 4위 간 점수 격차는 2.4점이다. 류제명 2차관은 "벤치마크 평가 합산(AAII 벤치마크+NIA 벤치마크) 점수가 30점을 넘은 기업은 없었다"고 밝혔다.

항목별 1위 기업을 밝히지 않은 데 대해 "항목 마다 기업 격차가 근소했다. 1위를 발표했을 때 실익과 다른 기업들에게 미치는 영향을 종합적으로 고려했다"고 류 차관은 밝혔다. 다만 2차 평가에서 일관되게 가장 높은 점수를 받은 정예팀은 없었다고 했다.

ⓒ과학기술정보통신부

벤치마크 고득점 최적화 의혹에…"AAII 분석서 과적합 단서 못 찾아"

이번 평가에서 '벤치맥싱' 관련 이슈는 평가에 반영되지 않았다고도 했다. 벤치맥싱은 실제 AI 성능 향상보다 특정 벤치마크에서 고득점을 받도록 모델을 과도하게 학습·조정하는 행위를 뜻한다.

앞서 AI 업계와 개발자 커뮤니티 일각에서 일부 참여사가 특정 벤치마크 고득점을 겨냥해 모델을 과도하게 최적화했다는 의혹을 제기한 바 있다.

이에 대해 류 차관은 "AAII에 공식적으로 (각 정예팀 모델) 분석 결과를 의뢰했다. 그 결과, 평가를 위한 체계적인 암기나 과적합을 입증할 만한 단서를 찾지 못했다. 그 부분(벤치맥싱)에 대해 큰 문제가 없다는 답변을 받았다"고 말했다.

이어 "전문가 평가를 통해서도 여러 가지를 검증한 결과, 이러한 평가 경쟁의 불공정한 기술 지원은 없었다는 결론을 내렸다"고 덧붙였다.

AI 전문 사용자 49명·일반 국민 185명 참여…사용성·활용성 평가

사용자 평가는 AI 전문 사용자진 평가(배점 15점)와 일반 국민 평가(배점 10점)으로 구성됐으며, 이를 기반으로 AI 사용성(Usability) 등에 대한 평가를 진행했다.

AI 전문 사용자진 평가는 49명의 AI 전문 사용자(AI스타트업 대표 등)가 참여해 평가를 진행했으며, 일반 국민 평가는 185명(최종 200명 선정 후, 185명이 평가에 참여)의 국민이 직접 참여해 평가를 진행했다.

일반 국민 평가에서 당초 1400명이 응모했고 이해충돌 문제가 있는 인원을 제외한 185명이 최종적으로 참여했다.

각 평가단들에게는 프롬프트(Prompt) 가이드라인을 제공해, 깊이있는 AI 사용성 평가를 지원했으며, 평가단들의 평가는 정예팀별 비교평가가 아닌 절대평가로 이뤄졌다.

사용자 평가(배점 25점) 4개 정예팀 전체 평균은 17.6점이며, 1위와 4위 간 점수 격차는 5.0점이다.

류 차관은 "최종 검토 결과 일반 국민 평가가 당락에 영향을 미치지 않았다"면서 "특정 기업에 몰표를 주는, 고득점, 만점을 주거나 최하점을 주는 그런 케이스들은 걸러내는 작업들도 했다. 그런 것들이 반영이 돼서 결과적으로 편차가 다른 지표에 비해서 크다고 볼 수는 없었다"고 설명했다.

ⓒ과학기술정보통신부

모티프, 기술력 인정받았지만 사용성·활용성에서 상대적으로 낮은 평가

2차 단계평가를 종합한 결과, 근소한 차이로, 기존 4개 정예팀 중 업스테이지, SK텔레콤, LG AI연구원 정예팀이 다음 단계로 진출하게 됐다.

모티프테크놀로지스 컨소시엄의 당락을 결정지은 것으로 정부는 사용성·활용성 부분에 무게를 실었다. 류 차관은 "기술력은 뛰어났지만 이 평가에 내재된 75점 배점에 상당한 무게 중심이 있었던 사용성·활용성 부분에서는 다른 기업들에 비해 낮은 평가를 받았다고 이해해달라"고 말했다.

다만 정부는 특정 항목 하나가 당락을 결정한 것이 아니라, 항목별 근소한 점수 차가 종합된 결과라고 강조했다.

탈락 기업 모티프테크놀로지스 컨소시엄 지원 방향에 대해서는 "정부 프로그램 지원 외에 특별 대책을 언급하는 것은 적절치 않다"고 말했다.

ⓒ과학기술정보통신부

상용화·산업 적용부터 글로벌 협업·기술 독립성까지…팀별 강점 뚜렷

이번 평가 기준은 국내 최고 수준의 AI전문가들로 구성된 4개 정예팀과 충분한 협의를 거쳐 마련됐다고 정부는 밝혔다.

업스테이지 정예팀은 “개발된 성과를 국민이 체감할 수 있도록 포털 ‘Daum’ 및 ‘Timely’ 플랫폼과 연계 추진”, “퓨리오사AI NPU 협업을 통해 외산 하드웨어 종속성(Lock-in)을 완화하고 실제 ‘Daum’ 서비스 환경에서 PoC 형태로 실증한 것은 국산 AI SW와 HW 생태계 결합을 보여준 선도적 사례” 등의 호평을 받았다.

SK텔레콤 정예팀은 “수리 추론과 한국어 영역에서 비교군 최상위 성능을 확보했고, 대규모 상용 서비스에 실제 탑재되어 사용성·실용성 측면의 우위 뚜렷”, “국방 분야용 A.X K1 모델 제공, 제조 산업 특화 에이전트 실증, 법무 및 세무 분야 시연 등을 통해 개발 모델의 적용 가능성과 실용성을 다양한 산업 분야에서 입증” 등의 높은 평가를 받았다.

LG AI연구원 정예팀은, “글로벌 파급력을 높일 수 있도록 글로벌 국제기구 등과의 협업 전략을 수립하고 있다는 점과 Agentic AI에 대한 차별성이 있음”, “안전하고 신뢰할 수 있는 AI 개발을 위한 고민과 관련 활동이 충실하게 나타나며, 모델의 신뢰성 확보와 위험요인 관리에 대한 인식을 통해 지속가능성까지 고려되고 있음” 등의 의미있는 평가를 기록했다.

모티프테크놀로지스 정예팀은 “아키텍처부터 토크나이저, 옵티마이저, 커널까지 자체 개발해 외부 종속을 제거”, “아키텍처 개선 및 학습 효율화 기법은 Motif 3 모델에 성공적으로 적용돼 글로벌 평가에서 성과를 거둠”, “독자 기술 스택을 적용하는 과정에서 도출된 기술적 한계점과 시행착오 데이터 역시 국가적 자산으로서의 가치가 높음” 등의 평가가 이어지는 등 깊이 있는 역량을 보유한 것으로 평가됐다.

ⓒ과학기술정보통신부

4개 정예팀 AI 모델 모두 글로벌 ‘주목할 만한 모델’ 등재

작년 말 1차 공개된 5개 AI모델에 이어, 2단계 참여 4개 정예팀이 최근 공개한 AI모델 4개 모두 ‘에포크 AI(Epoch AI, 미국 비영리 AI 연구기관)’의 ‘주목할만한 AI 모델(Notable AI Models)’에 등재됐다. 에포크 AI가 2026년에 선정한 주목할만한 모델을 보유한 국가는 현재 미국·중국·한국 등 3개국에 불과하다.

AI 모델 평가 전문 플랫폼인 ‘Artificial Analysis’가 측정·발표하는 글로벌 AI 모델의 지능과 성능에 대한 종합 평가지수인 ‘AAII’도 4개 정예팀 모두 31점 이상을 기록하며, 유럽, 캐나다 등의 주요 AI모델(예, Mistral Medium 3.5 등)을 모두 추월한 것으로 나타났으며, 40점 초과 점수에서는 미국·중국에 이어 우리 한국 모델이 포함됐다.

최상위 AI모델과 AAII 점수 격차도 축소되고, 정예팀 AI모델이 오픈 웨이트(가중치 공개 모델) 모델 중 AAII 전세계 6위에 오르는 등 미국·중국에 이은 AI 3강 지위를 보다 공고히 한 것으로 정부는 평가했다.

현재 국가별 최고 수준(Frontier) 언어모델(Language Model) 성능을 비교했을 때(AAII 기준), 우리나라는 미국·중국에 이은 3위다.

3단계에 진출한 정예팀에는 고성능 GPU(B200) 지원을 확대할 계획이며 (2026년 상반기 B200 768장 수준 → 2026년 하반기 B200 1000장 수준), 이들 정예팀은 이를 통해 더 높은 성능의 독자 AI모델 개발에 주력할 것으로 기대를 모은다.

최동원 인공지능인프라정책관은 "GPU 비용은 6개월간 현장을 임차한다고 가정했을 때 400억원 정도 들어가는 것으로 파악한다. 3개팀이기 때문에 3차수 동안 지원되는 GPU를 금액으로 환산하면 1200억원 정도"라고 말했다.

과기정통부도 최상위급 독자 AI모델 개발 필요성을 깊이 인식하고, 추후 구체적 내용을 준비해 발표한다는 방침이다.

ⓒ과학기술정보통신부

독파모 3단계 예정대로…프론티어 AI 모델과의 연계 방식은 미정

한편 프론티어 AI 모델을 추진하는 것과 독파모 정예팀 추진이 겹치는 것인지에 대한 질의도 나왔다. 앞서 배경훈 부총리는 지난달 취임 1주년 기자간담회에서 "세계 최고 수준의 프론티어 인공지능(AI) 모델에도 도전해야 하는 시점"이라고 밝힌 바 있다.

독파모 프로젝트를 통해 국내 산업 경쟁력을 AI로 강화하는 정책 기조를 유지하면서도 서비스 경쟁력을 강화해 프론티어 모델 개발까지 아우르는 방향으로 AI 전략을 확대해야 한다는 의미다. 정부는 독파모 3차 평가는 예정대로 진행하되, 별도의 프론티어 AI 모델 개발 계획의 관계는 아직 확정하지 않았다는 입장이다.

류 차관은 "지금과 같은 경쟁 방식을 좀 탈피해서 실질적으로 이 프런티어 기업들의 모델들에 버금가는 그런 모델 경쟁을 우리가 가능한 방식으로 재편하자는 공감대가 있다. 독파모 프로젝트 3단계와 2027년 (프론티어 모델) 계획대로 한다면 새로운 경쟁 구도가 만들어질텐데 어떤 관계로 문제를 풀지에 대해서는 정부 예산이 확정되면 말씀드리겠다"고 밝혔다.

류 차관은 이어 "자원을 분산해서 할지, 집중해서 할지 등 당사자 기업들과 많은 논의를 하고 있다"고 덧붙였다.