손안의 XR 시대…인하대, 스마트폰으로 양손 햅틱 구현

고가 장비 없이 실시간 촉각 피드백 제공…XR 콘텐츠 기대

인하대 전경 ⓒ 인하대 제공

인하대는 김종현 소프트웨어융합대학 교수 연구팀이 스마트폰 기반 양손 햅틱 인터랙션 시스템인 '모바일바이햅(MobileBiHap)'을 개발했으며, 관련 연구 결과가 국제학술지 IEEE Access에 게재됐다고 9일 밝혔다.

이번 연구에는 노민경 학생이 공동연구자로 참여했다.

기존 XR 환경에서는 사용자가 가상 물체를 실제처럼 조작하거나 촉각을 느끼기 위해 전용 VR 컨트롤러나 햅틱 장갑, 포스 피드백 장치 등 고가의 하드웨어를 사용해야 했다.

높은 장비 가격과 설치 부담은 XR 기술 확산의 걸림돌로 지적돼 왔다.

연구팀은 이러한 한계를 극복하기 위해 스마트폰이 기본적으로 갖춘 멀티터치 기능과 무선 통신, 진동 모터, 오디오 기능을 하나의 인터랙션 시스템으로 결합했다.

이를 통해 별도의 장비 없이도 사용자가 가상환경에서 손동작을 구현하고 촉각 정보를 전달받을 수 있도록 설계했다.

시스템은 스마트폰에서 발생하는 핀치(Pinch), 드래그, 회전 등의 제스처를 실시간으로 인식해 가상 손의 움직임과 물체 잡기, 회전, 이동 등의 동작으로 변환한다.

또 가상 물체와 접촉이 발생하면 스마트폰의 진동과 음향을 통해 즉시 반응을 전달해 실제와 유사한 조작감을 제공한다.

특히 연구팀은 스마트폰 두 대를 각각 왼손과 오른손의 입력 장치로 활용하는 방식을 적용했다.

이를 통해 양손으로 하나의 물체를 동시에 조작하거나 한 손에서 다른 손으로 물체를 전달하는 등 보다 자연스러운 입체 조작이 가능해졌다.

기술 성능도 우수한 것으로 나타났다.

시험 결과 입력 반응 지연시간은 28~45밀리초(ms) 수준에 머물렀으며, 화면 처리 속도는 초당 58~72프레임(FPS), 데이터 처리율은 55~60Hz를 유지해 실시간 XR 환경에서도 안정적인 작동을 확인했다.

사용자 평가에서도 높은 점수를 받았다. 시스템 사용성(SUS)은 78.6점을 기록했고, 조작 만족도는 5점 만점에 4.1점, 사용자 선호도는 4.2점으로 조사됐다.

작업 부담을 측정하는 NASA-TLX는 38.4점으로 나타나 장시간 사용에도 비교적 부담이 적은 것으로 평가됐다.

연구팀은 개발한 기술을 디지털 잉크 페인팅 시뮬레이션에도 적용했다.

스마트폰 제스처만으로 붓의 움직임과 획의 굵기를 자연스럽게 제어하는 데 성공했으며, 이를 통해 XR 콘텐츠 제작은 물론 디지털 드로잉, 교육 콘텐츠, 연구용 인터페이스 개발 등 다양한 분야로의 확장 가능성을 확인했다.

김종현 인하대 소프트웨어융합대학 교수는 "이번 연구는 누구나 쉽게 사용할 수 있는 스마트폰을 활용해 XR 인터랙션의 진입장벽을 크게 낮췄다는 점에서 의미가 크다"며 "학부생이 시스템 개발과 실험, 논문 작성 전 과정에 참여해 국제학술지 게재라는 성과를 함께 이뤄낸 점도 값진 결과"라고 말했다.