SKT, 엔비디아 GPU·리벨리온 NPU 결합…소버린 AI 인프라 구축 나선다

질문 분석은 GPU, 답변 생성은 NPU로 처리하는 ‘분리형 추론’ 방식 적용

정석근 CTO “AI 인프라, 독자 AI 모델, 모두의 AI까지…풀스택 소버린 AI 강화할 것”

제시 클레이턴(Jesse Clayton) 엔비디아(NVIDIA) AI 인프라 부문 수석 매니저가 9일 서울 코엑스 ‘NVIDIA AI Day Seoul’ 행사에서 엔비디아의 NVLink Fusion 기술 설명을 하고 있다.ⓒ데일리안 조인영 기자

SK텔레콤이 엔비디아, 리벨리온과 손잡고 국산 인공지능(AI) 반도체를 엔비디아 플랫폼에 연결하는 하이브리드 AI 인프라 개발에 나선다.

GPU와 신경망처리장치(NPU)가 AI 추론 작업을 나눠 처리하는 시스템을 구축해 성능과 전력 효율을 동시에 높이고, 국내 소버린 AI 인프라 경쟁력을 확보한다는 구상이다.

SK텔레콤은 9일 서울 코엑스 ‘NVIDIA AI Day Seoul’ 행사에서 엔비디아(NVIDIA), 리벨리온(Rebellions)과 한국형 소버린 AI 인프라 구축을 위한 GPU·NPU 통합 시스템 개발 업무협약(MOU)을 체결했다.

이번 협약을 통해 3사는 엔비디아의 NVLink Fusion 기술을 활용해 리벨리온이 개발 중인 NPU ‘Rebel R200’을 엔비디아 플랫폼에 연결하고, 여기에 엔비디아의 서버 랙 표준 설계 규격인 MGX를 적용해 서버 랙 단위의 GPU·NPU 통합 시스템을 개발할 계획이다.

NVLink Fusion은 엔비디아 GPU끼리 데이터를 빠르게 주고받는 연결 기술인 NVLink를 다른 회사가 만든 AI 반도체에도 쓸 수 있도록 확장한 기술이다.

최근 AI 경쟁의 축이 모델 개발에서 서비스 운영으로 옮겨가고 있다. 에이전틱(Agentic) AI가 확산해 추론 요청이 급증하면서 AI 데이터센터(DC)에서의 처리 성능은 물론 전력 효율과 운영비용 경쟁력이 중요해졌다.

추론 과정은 크게 두 단계로 나뉜다. 사용자가 입력한 질문을 분석하는 ‘프리필(Prefill)’ 단계는 계산량이 많아 GPU 같은 고성능 연산 칩이 유리하다. 이어 답변을 한 단어씩 순차적으로 만드는 ‘디코드(Decode)’ 단계는 계산보다 메모리에서 필요한 데이터를 빠르게 불러오는 능력이 중요하다.

3사는 이 두 단계를 서로 다른 반도체에 나눠 맡기는 ‘분리형 추론’ 방식을 통합 시스템에 적용한다. 엔비디아 GPU는 질문을 분석하는 프리필 단계를, 리벨리온 NPU는 답변을 만들어 내는 디코드 단계를 맡아 처리 속도와 전력 효율을 높이는 것이 목표다.

SK텔레콤은 AI DC 구축·운영 경험을 바탕으로 통합 시스템을 AI DC에 도입해 성능과 안정성을 실증하고, 실제 서비스에서의 활용 및 상용화 가능성을 검토한다. 나아가 독자 AI 모델과 ‘모두의 AI’ 같은 대국민 AI 서비스를 연결해 인프라부터 모델·서비스까지 아우르는 풀스택 소버린 AI를 제공할 계획이다.

3사는 과학기술정보통신부의 소버린 AI 및 국산 AI 반도체 육성 정책에 맞춰 한국형 소버린 AI 인프라 구축 사례를 확보하고, 국내 공공·민간 부문 전반의 소버린 AI 서비스 기반을 마련한다는 방침이다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “한국은 AI 분야에서 세계적인 리더로 도약할 수 있는 인재와 기술, 산업적 역량을 갖추고 있다”며 “소버린 AI는 각국이 자국의 언어, 문화, 전문 지식을 인텔리전스로 전환할 수 있도록 한다. NVLink Fusion을 통해 한국의 반도체 기업들은 맞춤형 ASIC을 엔비디아 AI 팩토리 플랫폼에 연결하고, 자체 프로세서와 엔비디아 컴퓨팅을 긴밀하게 연동해 AI 워크로드를 실행할 수 있다. 엔비디아는 MSIT, 리벨리온, SK텔레콤과 함께 한국이 자체 인텔리전스를 생산하고 차세대 산업혁명을 구동할 수 있는 컴퓨팅 기반을 구축하고 있다”고 말했다.

정재헌 SK텔레콤 대표이사 겸 CEO는 “이번 협력은 글로벌 AI 인프라 기술과 국내 AI 반도체를 결합해 차세대 소버린 AI 인프라의 잠재력을 입증한다는 점에서 의미가 크다”며 “SK텔레콤의 AI 데이터센터, A.X K2를 포함한 자체 AI 모델, 그리고 ‘모두의 AI’ 프로젝트를 통해 개발되는 대국민 AI 서비스를 연계함으로써, 풀스택 소버린 AI 경쟁력을 강화하고 국내 AI 생태계의 발전에도 기여할 것”이라고 전했다.

박성현 리벨리온 공동창업자 겸 CEO는 “이번 발표는 한국의 AI 반도체와 모델을 글로벌 시스템 기술과 연결함으로써 소버린 AI의 새로운 장을 여는 전환점”이라며 “리벨리온의 맞춤형 반도체와 시스템 설계 기술에 엔비디아의 NVLink Fusion, 고속 인터커넥트 기술, 랙 스케일 설계 전문성과 SK텔레콤의 모델 및 데이터센터 운영 역량을 결합해 최첨단 모델을 대규모로 처리할 수 있는 저지연·고효율 추론 성능을 구현할 예정이다. 한국을 대표하는 AI 반도체 스타트업으로서 한국의 기술이 전 세계 AI 산업을 이끄는 핵심 축으로 자리매김할 수 있도록 앞장서겠다”고 밝혔다.

이도규 정보통신정책실장은 인사말에서 "과기정통부와 NVIDIA와 협의해 온 NVLink 표준 기반 국산 APU 연계 협력이 오늘 세 기업의 MOU 체결을 통해 구체적인 첫걸음을 내딛게 된 것을 매우 뜻깊게 생각한다. 오늘의 협력은 단순히 기업 간 기술 협력을 넘어 우리나라가 개발한 국산 AI 반도체를 글로벌 AI 생태계와 연결하고 세계 시장에서 경쟁할 수 있는 기반을 마련한다는 점에서 매우 큰 의미가 있다"고 밝혔다.

이 실장은 "특히 글로벌 AI 반도체 시장을 선도하는 NVIDIA와 NVLink 표준 기술 협력을 추진함으로써 국산 NPU의 경쟁력을 높이고 글로벌 AI 인프라에 참여할 수 있는 새로운 가능성을 열었다고 생각한다"며 "이번 MOU가 국산 NPU의 기술력을 글로벌 시장에서 입증하고 빠르게 성장하는 AI 기술 시장에서 성공적인 사업 성과를 만들어내는 계기가 되기를 기대한다"고 덧붙였다.