AI 데이터센터, GPU 확보 넘어 효율 경쟁으로

배경훈 부총리 겸 과학기술정보통신부 장관이 인공지능(AI) 데이터센터 구축의 초점을 특정 외산 GPU 확보에서 이기종 연산 자원 결합으로 넓혀야 한다고 밝혔다.

배 부총리는 20일 서울 종로구 HJ비즈니스센터 광화문에서 열린 '개방형 AI 컴퓨팅 인프라 생태계 구축을 위한 업계 간담회'에서 "AI 워크로드가 다변화하는 상황에서 CPU, GPU, NPU, DPU와 같은 연산 자원과 메모리가 유기적으로 결합되어 운영 효율성을 극대화해야 한다"고 말했다고 연합인포맥스는 전했다.

그는 "인공지능(AI) 데이터센터(DC) 구축은 단순히 서버 랙을 준비하고 엔비디아 등 특정 외산 그래픽처리장치(GPU)만 탑재한다고 끝나는 것이 아니다"라고 말했다. AI 인프라 경쟁을 장비 수량 중심으로 볼 것이 아니라 실제 서비스와 비용 구조에 맞춘 운용 체계로 봐야 한다는 취지다.

AI 데이터센터(AIDC)는 AI 모델의 학습과 추론에 필요한 대규모 연산 장비와 전력·냉각 설비를 갖춘 데이터센터다. 생성형 AI와 에이전틱 AI 확산으로 추론 수요가 늘면서, 단일 GPU 중심 구조보다 중앙처리장치(CPU)·GPU·신경망처리장치(NPU) 등을 서비스 특성에 맞게 조합하는 이기종 컴퓨팅 구조가 부상하고 있다.

배 부총리는 "단순한 파운데이션 모델 개발을 넘어 이기종 칩셋과 인프라를 실제로 연동·운영할 수 있는 역량 확보가 핵심"이라고 말했다. 그는 "모델 위에서 작동하는 에이전틱 AI 기술이 고도화되고 추론 시장이 개화함에 따라 폭증하는 토큰 연산 수요를 어떻게 효율적으로 감당할 것인가에 대한 아키텍처 최적화를 정부 정책으로 전방위 지원하겠다"고 밝혔다.

에이전틱 AI는 이용자의 지시를 받아 여러 단계를 스스로 계획하고 실행하는 AI 기술을 뜻한다. 통상 대화형 모델보다 추론 호출과 도구 사용이 늘어날 수 있어, 데이터센터에는 연산 성능뿐 아니라 메모리 대역폭, 네트워크, 전력 효율을 함께 설계하는 능력이 요구된다.

정부와 AMD의 협력도 같은 흐름에 있다. 과기정통부와 AMD는 지난달 AI 컴퓨팅 인프라 구축을 위한 업무협약을 체결했다.

문경선 AMD코리아 상무는 이날 간담회에서 국산 NPU와 AMD의 CPU·GPU를 비롯한 여러 AI 컴퓨팅 자원을 묶은 통합형 이기종 AI 아키텍처 개발 구상을 제시했다. 문 상무는 "국내에 좋은 성공 사례를 만들어 글로벌 경쟁력이 있는 표준 아키텍처로 확장하고 활용하는 궁극적인 목표를 갖고 있다"고 말했다.

이번 논의는 국내 AIDC 시장이 전력과 부지 확보를 넘어 운용 효율 경쟁으로 이동하는 흐름과 맞물린다. 본지는 앞서 SK텔레콤이 SK하이퍼를 통해 AIDC 사업을 확장하는 계획을 보도한 바 있다.

정부 차원의 AI 인프라 정책도 이어지고 있다. 본지는 앞서 정부가 2030년까지 제조AI에 민관 합동 20조원을 투입하는 전략을 전한 바 있다.

배 부총리는 정부 주도 독자적 파운데이션 모델 2차 평가 결과도 언급했다. 그는 "최근 2차 평가를 마친 독파모 프로젝트에서 스타트업들이 의미 있는 선전을 펼치며 가능성을 증명했다"고 말했다.

그는 정부의 AI 고속도로 재구축과 AI 데이터센터 조성, 3대 메가 프로젝트 등 기본 정책 방향이 정립돼 본격적으로 추진되고 있다고 설명했다. 이어 "이제는 벤치마크 지표 같은 단순 숫자 경쟁을 넘어 실질적인 성과를 창출하고 산업계와 국민 생활 속에서 AI를 실사용 확산하는 단계로 나아가야 한다"고 말했다.

배 부총리는 올해 연말 추진되는 '모두의 AI' 플랫폼 구축을 통해 독파모에 참여했던 기업들이 대거 참여하고 AI 서비스 확산 계기가 마련될 것이라고 설명했다. 정부의 메시지는 AIDC 경쟁의 기준을 GPU 수량에서 이기종 인프라 운용 효율과 생태계 설계로 옮기겠다는 데 맞춰졌다.