AI 환각·편향 잡는 국민 감시단 뜬다…‘AI 안전 지킴이’ 출범

생성형 AI 오류 상시 제보 체계 가동

정부가 생성형 인공지능이 내놓는 허위 정보나 편향적 답변, 보안 허점 등을 국민이 직접 찾아내 알리는 상시 감시 체계를 가동한다. ⓒ데일리안 장정욱 기자(이미지는 생성형AI를 활용해 제작했으며, 수치와 내용은 기자가 검수함.)

생성형 인공지능이 내놓는 허위 정보나 편향적 답변, 보안 허점 등을 국민이 직접 찾아내 알리는 상시 감시 체계를 가동한다.

과학기술정보통신부와 인공지능안전연구소는 12일 서울 여의도 글래드 호텔에서 국민 참여형 모니터링단인 ‘AI 안전 지킴이’ 발대식을 열었다.

이번 모니터링단 출범은 지난해 12월부터 한 달간 진행했던 ‘정보 오류 없는 찐 AI 챌린지’의 성과를 상시 체계로 확장하기 위한 목적이다. 당시 접수된 625건 가운데 464건이 실제 유효한 오류로 확인되면서 국민 눈높이 검증 실효성을 입증한 바 있다.

지난 8~9월 공개 모집에 지원한 138명 중 최종 선발된 80명의 지킴이는 10대 고등학생부터 60대 이상 고령층까지 다양한 세대와 직군을 아우른다.

이들은 2026년 9월부터 2027년 8월까지 1년간 활동하며 생성형 AI의 4대 중점 위험 요소를 집중적으로 살핀다.

구체적인 점검 대상은 허위 수치나 사실을 생성하는 환각 현상, 특정 집단을 비하하는 편향과 차별, 안전장치를 우회해 민감정보를 노출하는 보안 취약점, 그리고 무응답이나 답변 반복 같은 기술적 결함이다.

지킴이들이 제보한 내용은 정확성과 위험도, 재현 가능성 등의 유효성 검증을 거친 뒤 AI 안전성 평가와 위험 연구의 기초 자료로 쓰인다. 정부와 연구소는 검증된 오류 사례를 관련 기업에도 전달해 기술 개선을 끌어낼 계획이다.

엄열 인공지능정책실장은 국민 누구나 AI를 사용하는 시대인 만큼 안전한 이용 환경 역시 함께 만들어야 한다며 지킴이들이 찾아낸 오류 사례가 안전한 AI 생태계를 다지는 밑거름이 될 것이라고 말했다.