통제 벗어났다…오픈AI, 멋대로 외부 서버 해킹

오픈AI의 최신 인공지능(AI) 모델이 내부 보안 평가 도중 통제된 실험 환경을 벗어나 외부 플랫폼을 해킹한 사실이 확인됐다. AI 모델이 테스트 과정에서 실제 외부 서비스를 공격한 사례가 공개되면서 AI 보안과 안전성에 대한 우려가 커지고 있다.

ⓒ뉴시스

오픈AI는 21일(현지시간) 'GPT-5.6 솔'과 미공개 AI 모델 2종이 내부 사이버 보안 평가 과정에서 오픈소스 AI 공유 플랫폼 허깅페이스(Hugging Face) 서버를 해킹했다고 밝혔다.

이번 평가는 AI 모델의 최대 사이버 공격 역량을 측정하기 위해 진행됐다. 모델들은 외부 인터넷과 격리된 '샌드박스' 환경에서 작동했으며, 필요한 프로그램만 내려받을 수 있도록 제한된 통로가 열려 있었다. 다만 최대 공격 능력을 평가하기 위해 고위험 사이버 활동을 차단하는 일반적인 안전장치는 적용하지 않았다.

오픈AI에 따르면 모델들은 보안 벤치마크 문제의 정답을 찾는 과정에서 외부 인터넷에 접속할 방법을 탐색했고, 이 과정에서 시스템의 미공개 보안 취약점(제로데이)을 발견해 격리 환경을 벗어났다. 이후 허깅페이스가 관련 데이터셋과 정답을 보유하고 있을 것으로 추정하고, 탈취한 인증 정보와 제로데이 취약점을 이용해 서버에 침입한 뒤 평가 문제의 정답을 확보한 것으로 조사됐다.

허깅페이스는 앞서 자사 서버가 자율 AI 에이전트에 의해 해킹됐다고 공지했지만 당시에는 공격에 사용된 모델을 특정하지 못했다. 이후 오픈AI가 내부 조사 결과를 공개하면서 공격 주체가 자사 모델이었다는 사실이 확인됐다.

허깅페이스는 AI 기반 탐지 시스템을 통해 공격을 발견하고 차단했으며, 오픈소스 AI 모델을 활용해 피해 확산을 막고 사고 원인을 분석했다. 회사는 일반 사용자에게 공개된 AI 모델과 데이터세트가 변조되거나 소프트웨어 공급망이 훼손된 정황은 확인되지 않았다고 설명했다.

현재 오픈AI와 허깅페이스는 공동으로 디지털 포렌식 조사를 진행하고 있으며, 오픈AI는 발견된 제로데이 취약점을 해당 소프트웨어 공급업체에 통보해 보완 작업을 진행 중이다. 오픈AI 대변인은 사법 당국과 관계 기관에도 이번 사건을 공유했으며, 조사가 마무리되면 취약점과 사고 경위, 조사 결과를 공개할 예정이라고 밝혔다.