사진 한 장 보고 길 찾는 로봇…KAIST, ‘피지컬 AI’ 핵심기술 개발

윤성의 교수팀, 투명 물체 인식·미래 예측 구현

자율주행차·휴머노이드 로봇·디지털 트윈 등

차세대 자율 시스템 활용 기대

피지컬AI 핵심기술 이미지. ⓒKAIST

KAIST 연구진이 유리나 물처럼 투명한 물체를 인식하고, 미래 상황을 예측해 행동 계획까지 세우는 ‘피지컬 AI’ 핵심기술을 개발했다. KAIST는 전산학부 윤성의 교수 연구팀이 현실 세계의 물리적 특성을 이해하는 인공지능 기술 4건을 개발했다고 6일 밝혔다.

피지컬 AI는 화면 속 이미지를 분류하는 수준을 넘어 실제 세계의 구조와 물리 현상을 이해하고 행동으로 연결하는 인공지능을 뜻한다. 이번 연구는 AI가 보고, 이해하고, 예측한 뒤 행동하는 흐름을 하나의 기술 축으로 제시했다는 점에 의미가 있다.

연구팀은 먼저 글린트(GLINT) 기술로 유리 표면에 반사된 모습과 유리 뒤 물체를 분리해 분석하는 방법을 개발했다. 기존 AI는 유리에 비친 장면과 유리 너머 풍경을 하나의 영상으로 처리해 투명 물체 인식에 한계를 보였다. 글린트는 유리 표면과 투과 성분을 나눠 해석해 투명한 환경에서도 3차원 장면을 더 정확히 복원할 수 있도록 했다.

라디오GS(RadioGS)는 빛과 물질의 상호작용을 분석하는 기술이다. 같은 물체라도 햇빛과 실내 조명 아래에서 다르게 보이는 문제를 줄이기 위해, 빛이 물체에 닿아 반사되고 퍼지는 과정을 AI가 학습하도록 했다. 이를 통해 조명 변화가 큰 환경에서도 물체 재질과 주변 구조를 더 정밀하게 이해할 수 있다는 게 연구팀 설명이다.

비주얼-RRT(Visual-RRT)는 로봇 경로 계획 기술이다. 기존 로봇이 목적지 좌표를 입력받아 움직였다면, 이 기술은 목표 장면이 담긴 사진 한 장을 보고 현재 장면과 비교하면서 이동 경로를 찾는다. 연구팀은 실제 로봇 실험에서도 이미지 목표만으로 목적지 도달 가능성을 확인했다.

클래드(CLaD)는 AI가 행동하기 전 미래 상황을 예측하도록 하는 기술이다. 특정 행동을 했을 때 다음 장면이 어떻게 바뀔지 미리 계산하고, 그 결과를 바탕으로 적절한 행동을 선택한다. 복잡한 조작 작업이나 자율로봇 분야에서 활용 가능성이 크다.

이번 성과는 ICLR 2026과 CVPR 2026에서 구두 발표 2편, 하이라이트 논문 2편 등 총 4편의 논문으로 발표됐다. KAIST에 따르면 ICLR과 CVPR 구두 발표는 각각 약 1.13%, 0.8%만 선정되는 최상위 발표 형식이다.

연구는 과학기술정보통신부, 정보통신기획평가원(IITP), 한국연구재단(NRF)의 지원을 받아 수행 중인 피지컬 AI 및 지능형 로봇 연구과제의 일환으로 진행됐다.

윤성의 KAIST 전산학부 교수는 “이번 연구는 AI가 단순히 눈으로 보는 것을 넘어 현실 세계를 이해하고 앞으로 일어날 상황까지 예측해 스스로 행동을 결정하는 방향으로 발전하고 있음을 보여준다”며 “자율주행차와 휴머노이드 로봇 등 실제 환경에서 작동하는 다양한 피지컬 AI 기술 발전에 기여하기를 기대한다”고 말했다.