AI 데이터센터를 거대한 칩처럼…KAIST, 차세대 AI 데이터센터 설계 제안

CPU·AI 가속기·메모리 연결해 하나의 컴퓨팅 시스템 구성

데이터 접근 지연 줄이고 고장 난 장치만 교체하는 방식 제안

핵심 부품 실제 칩으로 구현…연구성과 창업·글로벌 협력으로 확장

관련 연구 이미지. ⓒKAIST

KAIST 연구진이 교원창업기업 파네시아, 메타와 함께 CPU와 AI 가속기, 메모리를 CXL로 연결해 데이터센터 전체가 하나의 거대한 컴퓨터처럼 작동하도록 하는 차세대 AI 데이터센터 구조를 제시했다. KAIST는 관련 리뷰 논문을 국제학술지 ‘네이처 리뷰 일렉트리컬 엔지니어링’에 게재했다고 9일 밝혔다.

생성형 AI와 초거대 AI는 수백∼수천 개의 가속기를 동시에 사용한다. 일부 가속기의 데이터 전달이 늦어지면 다음 연산 단계로 넘어가지 못해 전체 작업 속도가 떨어질 수 있다.

엔비디아 NVLink와 UALink 등 기존 기술은 주로 랙 내부의 가속기를 빠르게 연결하는 데 초점을 맞춘다. 연구진은 CXL을 기반으로 서버 간 경계를 낮추고 CPU와 가속기, 메모리까지 연결 범위를 넓혔다.

CXL은 여러 장치가 하나의 메모리 공간을 공유하면서 최신 데이터를 자동으로 맞추도록 지원하는 국제표준 기술이다. 연구진은 여기에 고성능 패브릭 스위치와 링크 가속 유닛, 패브릭 컨트롤러를 더해 장치마다 데이터 처리 시간이 달라지는 문제를 줄이는 구조를 설계했다.

연구진이 제시한 구조에서는 CPU 한 개가 직접 관리할 수 있는 가속기가 기존 2개에서 16개로 늘어난다. 하나의 연결 영역에는 최대 약 960개의 가속기를 묶을 수 있다.

장치 사이 데이터 접근 시간은 기존 네트워크 기반 구조의 마이크로초 단위에서 수백 나노초 단위로 줄어든다. 연구진은 기존 구조와 비교해 접근 시간이 약 10분의 1로 단축된다고 설명했다.

CPU와 가속기, 메모리를 각각 독립된 자원으로 연결하기 때문에 장비에 문제가 생겨도 서버 전체 대신 고장 난 장치만 교체할 수 있다. 남는 연산·메모리 자원을 필요한 곳에 배분하는 것도 가능하다.

파네시아는 이번 구조에 필요한 CXL 스위치와 패브릭 컨트롤러 등을 실제 반도체 칩으로 구현해 제품 공급 단계에 들어갔다. 논문에는 칩의 실물 회로 배치 사진과 설계 방식도 담겼다.

전기 신호를 이용한 현재 구조는 최신 규격을 적용해도 연결 거리가 약 7m, 랙 6∼7개 수준으로 제한된다. 연구진은 데이터센터 전체로 연결 범위를 넓히기 위해 전기 신호를 빛으로 바꾸는 ‘CXL 오버 옵틱스’ 방식도 후속 방향으로 제시했다. 이번 리뷰 논문은 학술지의 집필 요청을 받아 작성됐으며 지난 8월 10일 게재됐다.

정명수 KAIST 전기및전자공학부 교수 겸 파네시아 대표는 “AI가 거대해질수록 개별 가속기의 성능만큼 수많은 가속기와 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 중요하다”며 “이번 연구는 CXL을 기반으로 데이터센터 전체를 하나의 컴퓨팅 시스템처럼 동작시키는 차세대 AI 인프라의 방향을 제시했다는 데 의미가 있다”고 말했다.