AI 가드레일, 적은 자원으로 세운다…KAIST, MS 글로벌 연구망 합류

손수엘 교수팀, 저비용·고효율 LLM 안전장치 연구

6개 대륙 18개 대학 연구실 참여…KAIST 국내 유일

공동과제 아닌 기프트 어워드…연구 자율성 보장

전산학부 손수엘 교수 ⓒKAIST

생성형 인공지능(AI)이 위험한 명령이나 조작된 웹페이지에 휘둘리지 않도록 막는 안전장치를 적은 컴퓨팅 자원으로 구현하는 연구가 국내에서 진행된다. KAIST 손수엘 전산학부 교수 연구팀이 마이크로소프트의 글로벌 AI 안전성 연구 프로그램에 국내에서 유일하게 참여한다.

KAIST는 손 교수 연구팀이 마이크로소프트 AI 레드팀의 ‘외부 레드팀 연합(EXTRA)’ 연구지원 대상에 선정됐다고 28일 밝혔다.

레드팀은 공격자 관점에서 AI 시스템의 취약점과 악용 가능성을 찾아내는 검증 방식이다. EXTRA는 기업 내부 인력만으로 확인하기 어려운 사이버보안과 다국어·문화권별 위험, AI 정렬 문제를 외부 연구자들과 함께 검증하기 위해 출범했다.

마이크로소프트는 EXTRA를 통해 6개 대륙 18개 대학 연구실을 지원한다. 국내 연구기관은 KAIST 웹 보안·프라이버시 연구실이 유일하다.

손 교수 연구팀은 2만5000달러(약 3700만원)를 받아 ‘컴퓨팅 자원 절약을 위한 언어모델 가드레일’을 연구한다. 가드레일은 대규모 언어모델(LLM)이 정해진 안전 기준을 벗어나거나 악의적인 명령을 수행하지 않도록 차단하는 장치다.

지원금은 공동연구 계약이나 특정 과제 수행을 전제로 하지 않는 기프트 어워드 형태로 제공된다. 연구 기간과 정해진 결과물 없이 연구팀이 AI 안전성과 보안, 정렬, 책임 있는 AI 개발 분야에 자율적으로 사용할 수 있다.

연구팀은 모델 탈취와 학습데이터 포함 여부 추론, 개인정보 추출, 프롬프트 주입 등 생성형 AI 공격 기법을 분석해 왔다. 최근에는 웹 에이전트와 에이전틱 브라우저가 외부 콘텐츠에 포함된 악성 명령을 실행하거나 정보를 유출하는 위험을 탐지·차단하는 기술을 연구하고 있다.

개발한 기술은 AI 에이전트의 간접 프롬프트 주입 공격을 시험하는 도구와 AI 모델 방어 기술, 웹 취약점 자동 탐지 도구 등에 적용할 계획이다. 일부 연구 결과는 공개소프트웨어로 제공한다.

손수엘 교수는 “AI 시스템이 사회 전반에 빠르게 확산되면서 성능뿐 아니라 안전성과 신뢰성을 확보하는 것이 무엇보다 중요해지고 있다”며 “이번 Microsoft AI Red Team의 EXTRA 참여를 계기로 실제 AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고, 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다.