과기정통부, AI 프롬프트 데이터 유출 방지 ‘보안 가이드’ 발간

‘AI 보안 레드티밍 가이드’ 공개

해당 이미지느 Ai로 제작함. ⓒ

과학기술정보통신부는 8일 한국인터넷진흥원과 인공지능(AI) 서비스 보안 위험에 효율적으로 대처하고 현장 보안 점검 능력을 키우기 위해 ‘AI 보안 위협 대응 매뉴얼’과 ‘AI 보안 레드티밍 가이드’를 발간했다.

과기정통부에 따르면 최근 다양한 산업과 서비스 영역으로 AI 기술이 급격하게 퍼지면서 프롬프트 인젝션(명령어 주입 공격)이나 권한 오남용, 데이터 유출 같은 새로운 형태 보안 위협도 함께 늘어나고 있다.

이러한 AI 보안 위협은 기존의 정보보호 체계만으로는 완벽하게 검증하거나 막아내기 힘들다. 이에 따라 실제 공격자 시각에서 보안 취약점을 미리 찾아내고 방어책을 세우는 ‘AI 레드팀’의 역할이 갈수록 중요해지고 있다.

이번에 나온 가이드 2종은 AI 환경에서 발생할 수 있는 주요 보안 위협과 구체적인 사례를 체계적으로 분류해다, 실제 산업 현장에서 바로 쓸 수 있는 점검·대응법과 레드팀 운영 방안을 담아내는 데 초점을 맞췄다.

우선 ‘AI 보안 위협 대응 매뉴얼’은 데이터, 모델, 에이전트, 공급망, 고성능 모델 등 크게 5가지로 AI 보안 위협을 분류해 진단 지표를 제공한다.

여기에 금융, 의료, 공공·행정, 교육, 제조·에너지, 통신, 법률, IT 등 8개 분야별 위협 시나리오와 이에 따른 해결책을 함께 담았다.

기업 최고경영자(C-Level) 등 경영진에게는 AI 보안 위협의 종류와 사례를 쉽게 설명하고, 실무자나 IT 운영자에게는 위협을 어떻게 진단하고 대처해야 하는지 명확한 기준을 알려준다.

함께 발간한 ‘AI 보안 레드티밍 가이드’는 기업 내에서 AI 보안 레드팀을 직접 이끌어가야 하는 실무진을 위한 안내서다.

여러 산업 분야를 아우르는 구체적인 운영 방법론을 체계적으로 정리한 정부 차원의 첫 번째 AI 보안 레드팀 기준서인 셈이다. 이 가이드는 레드팀을 기획하고 구성하는 단계부터 준비, 이행, 결과 보고에 이르기까지 전 과정을 상세히 다룬다.

현장에서의 실용성을 높이기 위해 레드티밍 체크리스트와 점검 도구, 인력별 직무기술서도 부록으로 곁들였다.

임정규 과기정통부 정보보호네트워크정책관은 “AI 기술의 확산과 함께 보안 위협도 빠르게 진화하고 있다”며 “이번 가이드가 AI 서비스의 보안 수준을 높이고 현장에서 활용할 수 있는 실질적인 기준이 되기를 기대한다”고 말했다.