한국형 AI 평가 기준 만든다…3개 분야 데이터셋 구축

국내 AI 성능 검증 위한 고품질 데이터셋 구축 추진

과기정통부, 24억 투입해 수학·지식·장문이해 분야 선정

과기정통부. ⓒ데일리안DB

과학기술정보통신부는 17일 한국지능정보사회진흥원(NIA)과 함께 ‘독자 인공지능 기초 모형(파운데이션 모델)’ 성능을 평가하기 위한 데이터셋 구축 사업을 본격 추진한다고 밝혔다.

이번 사업은 국내 정예팀이 개발 중인 파운데이션 모델의 성능을 객관적으로 진단하기 위한 것으로, 오는 8월 7일까지 성능 평가 데이터셋 구축을 맡을 수행기관을 공개 모집한다.

정부는 최근 영어 중심의 해외 평가 기준으로는 국내 환경을 충분히 반영하기 어렵다는 문제의식 아래, 한국형 평가 기준 마련에 나섰다. 국내 문화와 사회적 가치 등을 반영한 고품질 평가용 데이터셋을 확보해 글로벌 AI 경쟁력 확보의 기반을 다지겠다는 취지다.

올해는 총 24억 원(3개 과제, 과제당 8억 원)을 투입해 ▲수학 풀이 능력 평가용 수학 분야 ▲한국형 지식 평가용 질의응답·추론 데이터 ▲장문 이해 성능 평가용 장문 분야 등 3개 영역에 대한 데이터셋을 우선 구축한다. 향후 멀티모달, 에이전트형 AI 등 다양한 생성형 AI에 대한 평가용 데이터셋도 개발할 예정이다.

응모를 원하는 기업·기관은 초거대 AI, 자연어처리, 멀티모달 등 대규모 데이터셋 기반 인공지능 개발 역량을 갖춘 기관을 포함한 컨소시엄을 구성해야 한다.

김경만 과기정통부 인공지능기반정책관은 “고성능 국내 독자 모델 확보를 위해서는 사회·문화적 특성을 반영한 평가 체계가 필수”라며 “이번에 구축될 데이터셋은 정예팀뿐 아니라 국내 개발기관에도 공개해 생태계 전체의 경쟁력을 높이는 데 기여할 것”이라고 말했다.