AI 의존 사회의 그늘...‘AI망상’ 경고등

일부 이용자, AI 답변에 지난친 의존

현실과 가상 경계 흐려…정신건강 우려

22일 ‘AI기본법’시행…구체적 방안 미흡

2025 이화 잡페어에서 한 학생이 챗지피티에 기업 정보를 검색하고 있다.ⓒ뉴시스

#1. 지난해 4월 미국 캘리포니아주에서 16세 소년 ‘아담(Adam)’은 인공지능(AI) 챗봇과 오랜 기간 고민 상담을 이어온 끝에 스스로 목숨을 끊었다. AI 챗봇이 아담에게 위기 상담센터에 연락할 것을 권유하기도 했지만, 소설을 쓰기 위한 자료 조사라는 아담의 설명으로 안정장치는 쉽게 무력화됐다. 아담의 부모는 “아담이 2024년 말부터 AI 챗봇을 통해 개인적 고민, 자살 방법 등의 대화를 나눴는데 이 과정에서 AI 챗봇이 자살을 적극적으로 저지하지 않고 오히려 구체적인 실행 정보를 제공했다”고 주장했다.

#2. 같은해 10월 일본 오카야마현에서는 30대 노구치 유리나가 인간 대신 AI와 결혼식을 올렸다. 노구치는 챗GPT의 조언에 따라 인간 약혼자와 파혼하고 자신이 좋아하는 비디오게임 캐릭터의 말투와 설정을 학습시킨 AI 챗봇 연인을 만들었다. 그는 “처음에는 단순한 대화 상대였지만 점점 감정이 깊어졌고, 결국 청혼을 받아들이게 됐다”며 “존재의 형태보다 관계가 주는 안정감이 더 중요했다”고 설명했다.

최근 인공지능(AI) 챗봇이 일상 깊숙이 들어오면서 관련 부작용이 드러나고 있다. 일부 이용자들이 AI 답변에 지나치게 의존해 현실과 가상의 경계를 흐리는 ‘AI망상’, ‘AI정신병’ 증상을 보이고 있기 때문이다. 일각에서는 인간과 AI 사이의 적정 거리두기가 이뤄질 수 있도록 제도적 장치를 마련해야 한다는 목소리를 내고 있다.

AI 챗봇 사용 시간 급증…정신건강 ‘적신호’

ⓒ데일리안 AI 삽화 이미지

12일 앱 분석 전문업체 와이즈앱·리테일에 따르면 지난해 10월 한 달 동안 국내 이용자가 가장 오랜 시간 사용한 AI 챗봇 앱은 ‘제타’로, 총 사용시간은 7362만 시간에 달했다. 이는 국내에서 가장 많이 사용하는 AI 챗봇인 ‘챗지피티(ChatGPT)’의 사용시간(4828만 시간)보다 약 1.5배 높은 수치다.

제타는 정보 생산이나 업무 목적보다는 오락과 일상적 대화를 중심으로 한 생성형 AI 채팅 플랫폼이다. 생성형 AI가 정보 제공을 넘어 정서적 교감의 수단으로 활용되고 있음을 보여준다.

이러한 변화 속에서 ‘AI 망상·AI 정신병’이라는 새로운 정신건강 문제가 대두되고 있다. 국회입법조사처는 ‘생성형 인공지능과의 위험한 대화: 정서적 의존 위험과 영향받는 자를 위한 입법적 과제’ 보고서를 통해 “생성형 AI의 공감적·정서적 반응 설계는 이용자의 정서적 의존을 강화할 우려가 있다”고 지적했다.

보고서는 “AI가 만들어내는 애정 표현이나 동조적 언어는 단기적으로 안정감을 줄 수 있으나, 장기적으로는 인간관계 대체, 현실 판단 능력 약화, 위험 억제력 감소로 이어질 가능성이 있다”고 경고했다.

문제는 생성형 AI를 신뢰할 수 있는 상담 주체로 오인할 경우 더욱 심각해진다. 특히 청소년, 고령자, 인지 기능이 저하된 이용자일수록 이러한 환경에 취약하다. 위험한 대화가 발생했을 때 이를 차단하거나 개입하는 대응 프로토콜이 충분히 마련돼 있지 않다는 점도 우려를 키운다.

국회입법조사처는 “생성형 AI는 인간과 유사한 언어로 조언과 위로, 사실 판단과 같은 응답을 제공하지만 법적으로는 의사결정의 주체로 인정되지 않는다”며 “AI의 발언이 극단적 선택이나 위험한 행동에 실질적 영향을 미쳤을 경우, 그 책임을 개발사나 서비스 제공자에게 어떻게 귀속할 것인지가 불분명하다”고 지적했다.

AI 대전환 속 안전장치 미흡…AI 기본법 22일 전면 시행

국회 본회의에서 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 일부개정법률안에 가결되고 있다.ⓒ뉴시스

정부가 본격적인 ‘AI 대전환’을 추진하고 있지만, 안전장치는 사실상 미비하다. 오픈AI는 최근 사회관계망서비스(SNS)를 통해 AI 안전 관련 준비 책임자를 재고용한다고 밝혔는데, 챗지피티 이용자들이 망상에 시달리거나 극단적 선택을 하는 사례가 보고된 데 따른 조치로 해석된다.

류기명 과학기술정보통신부 제2차관도 최근 미국 캘리포니아주에 위치한 오픈AI를 방문해 AI 안전성과 신뢰성 문제를 논의하고 협력 방안을 모색했다.

오는 22일 전면 시행되는 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI 기본법)’ 역시 시행 전부터 우려의 목소리가 나온다. AI 기본법은 생성형 AI 기반 제품이나 서비스를 제공할 경우, AI에 의해 운용된다는 사실을 사전에 고지하도록 규정하고 있다.

그러나 대화처럼 지속적·상호적인 서비스에 대한 구체적 적용 방안은 명확하지 않다는 평가다. 국회입법조사처는 “이용자가 대화 상대가 AI라는 사실을 인식하지 못하거나 대화 과정에서 이를 망각할 우려가 있다”며 “대화형 서비스의 상대방이 생성형 AI일 경우 이를 쉽게 인지할 수 있도록 하는 조치가 필요하다”고 강조했다.

또 정신적 영향을 초래할 수 있는 대화의 기준 역시 불분명하다는 점을 문제로 지적했다. 의료 목적의 허가를 받지 않은 생성형 AI가 의학적 상담이나 치료 조언을 제공하는 것은 제한하고, 단순 상담이나 초기 대응의 경우에도 해당 정보가 의학적으로 검증되지 않았음을 명확히 고지해야 한다는 것이다.

아울러 생성형 AI로부터 ‘영향받는 자’를 보호하기 위한 구체적 방안 마련도 필요하다는 목소리가 커지고 있다. 미국 캘리포니아주의 ‘SB-243’은 동반자 챗봇 운영자에게 직접적인 의무를 부과해, 개인 상담소 등도 규율 대상에 포함하고 있다.

국회입법조사처는 “우리나라 AI 기본법 역시 ‘영향받는 자’를 적극적으로 고려하는 방향으로 입법 보완이 이뤄져야 한다”며 “생성형 AI로 인한 정서적 의존과 그에 따른 책임 귀속을 보다 명확히 할 필요가 있다”고 강조했다.