AI는 꼭 GPU로만 돌려야 할까? 'CPU 재발견' 주장이 뜬다

인공지능(AI) 기술의 급격한 확산 속에서도 CPU의 중요성이 과소평가되고 있다는 주장이 제기됐다. 대다수의 AI 작업이 GPU(그래픽처리장치)를 중심으로 설계되면서, 효율성과 자원이 낭비되는 현상이 나타나고 있다는 지적이다. 나만 카브라(Naman Kabra) NodeOps Network 공동 창립자 겸 CEO는 현지시간 17일 코인텔레그래프 기고를 통해 이러한 'GPU 중심 사고'가 오히려 AI 인프라 확장에 장애가 되고 있다고 비판했다.

GPU는 대규모 연산을 병렬로 처리하는 데 뛰어난 장점을 갖고 있어 챗봇 훈련이나 영상 인식 등 고성능 연산 작업에 적합하다. 오픈AI(OpenAI), 구글(Google), 메타(Meta) 등 글로벌 빅테크 기업들이 막대한 예산을 들여 GPU 클러스터를 구축하는 것도 이 때문이다. 그러나 카브라는 "GPU만이 답이라는 고정관념이 오히려 문제"라며, "특히 모델 실행 단계에서는 CPU로도 높은 효율을 낼 수 있다"고 강조했다.

CPU는 수많은 디바이스에 이미 내장돼 있으며, 논리적인 반복 처리나 유연한 의사결정이 필요한 AI 과제에서 더 적합할 수 있다. 자동화 에이전트처럼 정보를 수집하고 코드를 작성하거나 계획을 수립하는 과정은 필연적으로 CPU 기반의 처리 구조를 요구한다는 것이다. 특히 고속 응답이 필수적이지 않은 환경이라면 딥러닝 모델 추론도 CPU로 충분히 가능하다는 분석도 나온다.

이같은 논리를 바탕으로 카브라가 제시하는 대안은 ‘탈중앙 컴퓨팅 네트워크(DePIN)’를 활용한 분산형 인프라 확대다. 이는 전 세계 사용자들이 자투리 CPU 연산능력을 공유해 하나의 거대한 AI 연산 네트워크를 구성하는 방식이다. 클라우드 사업자 대신 누구나 자신의 유휴 컴퓨팅 자원을 제공할 수 있는 이른바 '컴퓨팅 공유 경제'로, 데이터 지연시간 단축과 프라이버시 강화를 동시에 꾀할 수 있다는 장점이 있다.

카브라는 "GPU 구입에 막대한 비용을 들이기보다 기존 CPU 자원을 어떻게 재활용할 수 있을지 고민할 시기"라고 말했다. 이어 "지금도 전 세계 수백만 대의 CPU가 활용되지 못한 채 방치돼 있다"면서 이 비효율을 줄이기 위한 인식 전환이 필요하다고 덧붙였다.

AI 수요는 향후 수년간 폭발적으로 증가할 것으로 전망되는 가운데, 고비용·고집약 방식의 GPU 중심 구조에서 벗어나야 한다는 목소리가 커지고 있다. 특히 전통적인 데이터센터 확장이 한계에 다다른 시점에서 분산형 방법론은 지속가능한 선택지로 부상하고 있다.

궁극적으로 카브라는 AI 인프라의 병목은 하드웨어 부족이 아니라 ‘사고방식’에서 비롯된다고 주장했다. “GPU는 물론 중요하다. 그러나 CPU는 가까이에 있고, 우리가 충분히 활용하지 않고 있을 뿐”이라는 그의 지적은, AI 경제의 다음 단계가 하드웨어의 성능 향상보다 '기존 자원의 재발견'에 달려 있음을 시사한다.