“거의 전쟁 시작될 뻔”…AI 가짜 정보에 낚인 미국, 中 선박 나포 작전까지

분석관, 챗봇 질의 후 엉터리 결론 담아 표준 보고서 배포

작전 개시 직전 재검토서 허위 확인

미군이 인공지능(AI) 챗봇이 생성한 허위 정보를 토대로 중동 해역에 있던 중국 선박을 상대로 군사 작전을 감행하려다 실행 직전 중단한 사실이 뒤늦게 확인됐다. 작전이 실제 집행됐다면 미국과 중국 간의 직접적인 무력 충돌로 번질 뻔한 아찔한 위기였다.

ⓒ뉴시스

18일(현지시간) CNN 방송에 따르면 올봄 이란전이 진행 중이던 당시 미군 내부에서 “중동 해역의 중국 선박 한 척이 핵무기 프로그램 관련 부품을 수송 중”이라는 미 특수작전사령부 소속 분석관 명의의 정보 보고서가 회람됐다. 보고서를 확인한 미군은 즉각 해당 선박을 차단·나포하기 위한 작전에 착수해 무장 병력의 승선 준비를 마쳤고 군용기까지 이미 공중에 띄우는 등 일촉즉발의 대치 상황이 벌어졌다.

그러나 작전 개시 직전 군 당국자들이 보고서를 재검토하는 과정에서 내용이 거짓이었음이 드러나 작전은 전격 취소됐다.

조사 결과 문제의 보고서는 한 분석관이 중국 선박 화물 목록 정보를 AI 챗봇에 질문하면서 시작된 것으로 파악됐다. 챗봇은 공개 정보와 미 정부의 기밀 신호 정보를 통합 분석하는 과정에서 선박 내 화물을 핵무기 부품으로 잘못 식별하는 치명적인 오류를 범했다. 분석관은 이 엉터리 결론을 추가 검증 없이 미군의 표준 정보 보고서 형식으로 작성해 군 내부에 배포했다.

한 소식통은 CNN에 “해당 보고서는 전적으로 거짓이었다”며 “이로 인해 거의 전쟁이 시작될 뻔했다”고 당시의 급박했던 상황을 전했다.

이번 사건은 미 국방부와 정보기관이 AI 도입을 전방위로 확대하는 가운데, AI의 오류나 환각 현상이 실제 국가 간 군사적 오판으로 이어질 수 있음을 보여주는 대표적 사례로 지목된다.

피트 헤그세스 미 국방장관이 지난 1월 ‘AI 가속화 전략’을 발표하며 표적 선정 등 군 핵심 업무에 AI 적용을 적극 추진하고 있으나, 각 부처 간 통일된 안전 기준이나 검증 지침은 전무한 실정이다. 군 내부에서도 “AI가 분석가들에게 보고서 생산을 재촉해 오류 여지를 키우고, 잘못된 결론에 더 빨리 도달하게 만든다”며 성급한 군사 AI 도입에 대한 우려의 목소리가 커지고 있다.