GIST, 3D 물체 실시간 추적 기술 개발…카메라로 현장 원격 지원

조명·배경 변화에도 안정적 추적 가능

(윗줄 왼쪽부터) GIST 고광희 교수, 오인영(GIST), 장길상(GIST), 송진호(한남대), 손문구(소프트힐스), 김대운(KT), 윤준상(GIST).ⓒ광주과학기술원

광주과학기술원(GIST)은 기계로봇공학과 고광희 교수 연구팀이 단일 RGB 카메라만으로 물체가 3차원 공간에서 어디에 있고 어떻게 기울어져 있는지 정확히 파악하는 기술을 구현하고, 이를 기반으로 제조·정비·교육 현장에서 활용 가능한 혼합현실(MR) 원격 협업 프레임워크를 개발했다고 4일 밝혔다.

현장에서 원격으로 작업 지원을 하기 위해서는 전문가가 보내는 가상 표시나 안내선이 실제 물체 표면에 정확히 맞아떨어지는 것이 중요하다. 이러한 정합을 위해 기존 MR 원격 협업 시스템은 물체에 마커(tag)를 부착하거나 깊이 센서를 설치해 물체의 좌표계를 확보하는 방식이 주로 사용됐다.

그러나 이 방식은 마커를 고정·재설치해야 하는 번거로움이 크고, 깊이 센서는 조명·배경 변화나 장비 비용 문제로 실제 산업 현장에서 적용하기 어렵다는 한계가 있었다.

특히 RGB 카메라 기반 추정 기술은 발전해 왔지만, 조명·배경 변화, 가림 등이 반복되는 실제 환경에서는 안정성과 실시간성을 동시에 확보하기 어려웠다.

연구팀은 이러한 한계를 해결하고자 조명이나 배경 변화에도 흔들리지 않고 물체를 안정적으로 추적할 수 있는 새로운 접근법을 적용했다.

기존 YOLO6D 기반 키포인트(물체의 기준점) 추정 과정에 ‘RoI-PCA’라는 색상 처리 기법을 추가한 것이다.

RoI-PCA는 이미지 전체가 아니라 물체가 있는 부분만 선택적으로 색상을 변형해 학습함으로써, 물체 고유 색상은 유지하면서도 조명과 배경 변화로 인한 오차를 줄여 정확도를 높이는 방법이다.

이를 통해 RGB 카메라 하나만으로도 물체의 위치와 회전 방향을 안정적으로 파악할 수 있게 됐다.

연구팀은 개발된 자세 추정 기술을 실제 산업 현장에서 활용할 수 있도록 MR 원격 협업 시스템으로 통합했다.

현장 작업자의 스마트 글래스 또는 카메라-프로젝터 장비에서 촬영된 영상이 전문가에게 실시간으로 전송되면 전문가가 작성한 주석·지시 사항이 분석된 물체 좌표계에 정확히 정렬되어 다시 현장 장비에 투영된다.

스마트 글래스 사용 시에는 사용자 간 시차로 발생할 수 있는 미세한 정렬 오차를 보정할 수 있는 간이 눈보정 UI를 적용했고 카메라-프로젝터 시스템에는 복잡한 표면에도 가상 정보를 안정적으로 투영할 수 있도록 연속적으로 하나씩 바뀌는 패턴을 활용한 보정 기술을 활용해 물체의 복잡한 표면에서도 안정적인 정보 투영이 가능하도록 했다.

연구팀은 대표적인 테스트 데이터인 LINEMOD 벤치마크와 색상과 거리 정보를 함께 담은 자체 3D 데이터(RGB-D 카메라 촬영)를 활용해 기술 성능을 검증했다.

새 기법(RoI-PCA)을 적용한 모델은 물체의 위치와 회전 방향을 얼마나 정확하게 잡는지를 평가하는 모든 기준(2D 재투영 오차, ADD, 5 cm·5° 기준 등 산업용 자세 추정 평가 지표)에서 기존 대비 안정적 성능 향상을 보였다.

실제 산업 환경과 유사한 소형 박스, 공기청정기 버튼 등을 대상으로 한 실험에서도 조명 변화, 배경 복잡도, 주변 물체 등장에도 흔들림 없이 가상 표시가 정확히 정렬되는 것을 확인하며 현장 데모를 성공적으로 수행했다.

고광희 교수는 “기술은 마커나 깊이 센서를 설치할 필요가 없어 현장 적용 비용과 유지보수 부담을 크게 줄일 수 있다”며 “제조 현장에서 새로 투입된 작업자가 장비와 공정을 빠르게 익혀 안전하고 정확하게 작업할 수 있도록 돕는 교육 과정(제조 라인 온보딩), 원격 A/S, 품질검사, 실습 교육 등 다양한 분야에서 작업 오류를 줄이고 처리 시간을 단축하는 데 기여할 수 있을 것으로 기대한다”고 말했다.

연구팀은 앞으로 일부 데이터에만 정답 정보를 제공하고 나머지는 스스로 학습하는 방법과 여러 작업 현장의 데이터를 직접 공유하지 않고도 동시에 학습하는 방법을 결합해 조명·배경 등 환경이 다른 여러 산업 현장에서도 물체 위치와 방향을 정확히 추정할 수 있는 기술(포즈 추정 기술)로 확장할 계획이다.

연구 결과는 국제학술지 컴퓨터 인 인더스트리(Computers in Industry)에 지난달 20일 온라인 게재됐다.