KAIST, 가상 AI 실험장 개발…거대한 AI서버 구축 전 성능 검증 가능해져

고가 장비 없이도 차세대 AI 반도체 성능 검증

AI 서비스 개발 시간·비용 대폭 절감 기대

(왼쪽부터) 박종세 KAIST 교수, 조재홍·최현민 KAIST석사과정, 브랜던 리건 교수가 기념촬영을 하고 있다.ⓒKAIST

챗GPT와 같은 거대언어모델(LLM) 서비스를 운영하려면 수만 대 규모의 서버 인프라가 필요하지만 새로운 AI 반도체나 시스템 구조를 검증할 때마다 실제 장비를 구축하는 데에는 막대한 비용과 시간이 소요된다.

국내 연구진이 이같은 문제를 해소하고 실제 대규모 AI 서버를 구축하기 전에 컴퓨터 안에서 성능과 효율을 미리 검증할 수 있는 가상 실험장을 개발했다.

한국과학기술원(KAIST)은 전산학부 박종세 교수 연구팀이 개발한 LLM 서비스 인프라 시뮬레이터 연구가 컴퓨터 시스템 성능 분석 분야의 세계적 권위 학회인 ISPASS 2026에서 최우수 논문상을 수상했다고 29일 밝혔다.

연구팀이 개발한 ‘LLMServingSim 2.0’은 복잡한 AI 서비스 환경에서 다양한 하드웨어와 소프트웨어 조합을 가상으로 분석할 수 있는 시뮬레이션 플랫폼이다. 연구자와 개발자들은 값비싼 대규모 서버 인프라를 직접 구축하지 않고도 다양한 설계안을 자유롭게 실험하고 성능을 검증할 수 있다.

이번 기술은 기존 그래픽처리장치(GPU) 중심 환경을 넘어 차세대 AI 반도체로 주목받는 신경망처리장치(NPU)와 프로세싱 인 메모리(PIM) 등 다양한 하드웨어 환경을 지원한다는 점에서 주목된다.

아직 상용화되지 않은 미래형 AI 반도체를 가상의 데이터센터 환경에서 미리 시험해볼 수 있는 기술이다.

이를 통해 특정 반도체를 적용했을 때 서비스 속도가 얼마나 향상되는지, 전력 소모는 얼마나 줄어드는지, 수만 대 규모의 서버 환경에서도 안정적으로 동작하는지 등을 컴퓨터 안에서 재현하고 분석할 수 있다.

또 실제 AI 서비스 운영 과정에서 발생하는 데이터 처리, 요청 분배, 메모리 활용 등 복잡한 동작을 시스템 수준에서 재현해 현실에 가까운 성능 평가가 가능하다.

특히 여러 서버 자원을 분리·연결해 사용하는 분산형(disaggregated) 인프라 환경까지 분석할 수 있어 차세대 AI 데이터센터 연구에도 활용 가능성이 크다.

이번 시뮬레이터는 연구자뿐 아니라 LLM 서비스 기업과 AI 반도체 스타트업 등이 차세대 AI 인프라를 설계하고 최적화하는 데 폭넓게 활용될 것으로 기대된다. 새로운 AI 반도체나 서비스 구조를 실제 구축 전에 빠르게 검증할 수 있어 AI 인프라 개발 비용과 시간을 크게 줄일 수 있기 때문이다.

박종세 교수는 “AI 서비스 경쟁력은 모델 자체뿐 아니라 이를 안정적이고 효율적으로 운영하는 인프라 기술에서 결정된다”며 “시뮬레이터가 연구자와 산업계가 차세대 AI 인프라를 더욱 빠르고 효율적으로 개발하는 데 중요한 기반이 되길 기대한다”고 말했다.

연구는 전산학부 조재홍 석사과정, 최현민 석사과정 학생이 공동 1저자로 연구를 주도했으며, 연구팀은 지난 2024년 IISWC에 이어 이번 ISPASS 2026에서도 최우수 논문상을 수상하며 AI 인프라 분야 연구 경쟁력을 다시 한번 입증했다.

한편 이번 연구는 과학기술정보통신부, 정보통신기획평가원, 한국전자통신연구원, SK하이닉스의 지원을 받아 수행됐다.