수술 도구·동작 넘어 전체 수술 흐름까지 파악
기존 AI 대비 인식 성능 개선…수술 단계 예측 정확도 93%
“의료진과 협력하는 지능형 수술보조로봇에 활용 기대”
삼성서울병원이 지난 9월 세계 최초로 수술 보조 로봇 2대와 인간 의사가 협업하는 수술 장면을 시연했다. 오남기 삼성서울병원 이식외과 교수가 수술 보조 로봇을 활용해 수술을 시연하고 있다. ⓒ삼성서울병원
수술 도구와 의료진의 움직임뿐 아니라 수술 단계와 전체 진행 과정까지 파악하는 인공지능(AI) 기술이 개발됐다. 수술 상황을 실시간으로 인식하는 기술로, 향후 의료진과 협력하는 지능형 수술보조로봇 등에 활용될 가능성이 제시됐다.
17일 삼성서울병원에 따르면 지능형의료로봇연구센터 정규환 센터장·전용준 연구원, 이식외과 오남기 교수 연구팀은 수술 영상의 공간적 정보와 시간적 흐름을 함께 분석하는 AI 기술 ‘CurConMix+(커콘믹스플러스)’를 개발했다. 연구 결과는 의료 영상 분야 국제 학술지 ‘IEEE 의료 영상 트랜잭션(IEEE Transactions on Medical Imaging)’에 게재됐다.
연구팀은 지난 9월 휴머노이드 수술보조로봇과 의료진의 협업 가능성을 선보인 데 이어, 이번에는 로봇이 수술 상황을 파악하는 데 필요한 AI 기술을 개발했다.
기존 수술영상 AI가 개별 장면에서 수술 도구와 동작을 식별하는 데 집중했다면, 이번 기술은 영상 속 공간적 정보와 시간에 따른 수술 흐름을 함께 분석하는 것이 특징이다. 이를 통해 개별 수술 동작부터 세부 과업, 전체 수술 단계까지 단계적으로 인식할 수 있도록 설계됐다.
수술보조로봇이 의료진과 협력하려면 도구나 장기를 식별하는 것뿐 아니라 현재 수술이 어느 단계에 있으며, 의료진이 어떤 작업을 수행하는지 파악해야 한다. 그러나 수술은 여러 동작이 연속적으로 이어지는 만큼 개별 장면만으로 전체 상황을 판단하기 어렵다는 한계가 있었다.
ⓒ삼성서울병원
연구팀은 공개 수술영상 데이터인 ‘CholecT45’를 활용해 기술의 성능을 평가했다. 그 결과 수술 도구와 동작, 대상을 인식하는 평균 정밀도(AP_IVT)는 42.2%로 기존 최고 성능 모델(41.5%)보다 높았다. 간 절제술 영상에서도 58.4%를 기록해 기존 모델보다 10%포인트 이상 높은 것으로 나타났다.
상대적으로 드물게 나타나는 수술 동작의 인식 성능도 개선됐다. 해당 동작의 평균 정밀도는 담낭 수술 영상에서 33%에서 39%로, 간 수술 영상에서는 43%에서 56%로 높아졌다.
연구팀은 기술 검증을 위해 2020년 2월부터 2022년 3월까지 삼성서울병원에서 시행된 복강경 간 절제술 48건, 약 52시간 분량의 영상으로 새로운 데이터셋 ‘LLS48’을 구축했다. 수술 과정을 5개 단계와 18개 세부 과업, 195개 동작으로 세분화했으며, 전문의와 숙련된 전문 인력이 분류와 검증에 참여했다.
이와 함께 AI가 개별 수술 동작을 넘어 전체 수술 흐름까지 파악할 수 있는지도 평가했다. 그 결과 담낭 절제술의 수술 단계 예측 정확도가 93% 이상으로 나타났다. 연구팀은 향후 다른 연구자들도 활용할 수 있도록 데이터셋과 코드를 공개했다.
정규환 센터장은 “수술로봇이 의료진과 자연스럽게 협력하기 위해서는 단순히 수술 도구나 장기를 식별하는 것을 넘어, 현재 어떤 수술이 진행되고 있고 의료진이 무엇을 하고 있는지 이해할 수 있어야 한다”며 “이번 연구는 개별 수술 동작부터 전체 수술 흐름까지 통합적으로 인식하는 AI 기술을 제시했다는 데 의미가 있다”고 설명했다.
오남기 교수는 “손끝 동작을 배운 AI가 수술 전체의 흐름까지 읽어낸 셈”이라며 “수술 과정 자동 기록과 수술 복기·전공의 교육을 거쳐, 궁극적으로는 수술 중 상황을 실시간 인지하는 휴머노이드 수술보조로봇에도 활용할 수 있을 것”이라고 말했다.
이번 연구는 한국형 ARPA-H 프로젝트와 한국연구재단 지원 사업, 삼성서울병원의 미래의학 2030 프로젝트 및 자체 연구비 지원을 통해 진행됐다.
댓글 쓰기