반도체 스타트업 Taalas, AI 최적화 칩 개발 위해 2,436억 원 조달

반도체 스타트업 Taalas Inc.가 특정 인공지능 모델 실행에 최적화된 칩 개발을 위해 1억 6,900만 달러(약 2,436억 원)의 자금을 조달했다. 이번 자금 조달에는 Quiet Capital, Fidelity 및 유명한 반도체 투자자 피에르 라몽드가 참여했다. 이로써 Taalas의 총 외부 조달 금액은 2억 달러를 넘어서게 됐다.

Taalas의 첫 번째 제품은 오픈소스 Llama 3.1 8B 언어 모델을 실행할 수 있도록 최적화된 칩이다. 이 칩은 엔비디아(NVIDIA)의 H200 그래픽 카드보다 73배 빠른 초당 17,000개의 출력 토큰을 생성할 수 있으며, 전력 사용량은 10분의 1에 불과하다.

특정 AI 모델에 맞춘 칩을 설계하면 효율성이 향상된다. 예를 들어 표준 그래픽 카드에는 AI 모델에 비해 과다한 DRAM이 포함될 수 있다. 반면, 맞춤형 칩은 불필요한 RAM을 대신해 필요한 트랜지스터를 추가해 모델의 속도를 높일 수 있다.

완전히 맞춤형 프로세서를 개발하는 것은 대부분의 AI 프로젝트에 있어 매우 비용이 많이 들지만, Taalas는 칩의 100개 이상의 레이어 중 오직 2개만 맞춤화하여 비용을 절감하고 있다. 로직이 있는 레이어를 제외한 다른 레이어는 데이터를 이동시키는 전선과 같은 보조 구성 요소를 호스팅한다.

Taalas의 칩은 '마스크 ROM 리콜 패브릭'이라 불리는 구조를 특징으로 하며, ROM은 한 번만 데이터를 쓸 수 있는 메모리 유형이다. 이러한 설계를 통해 HBM 모듈이 필요 없어 그래픽 카드의 데이터 전송과 관련된 지연을 줄이면서도 보조 구성 요소 또한 줄일 수 있다.

Taalas는 현재 200억 개의 파라미터를 갖춘 Llama 모델을 실행할 수 있는 새로운 칩을 개발 중이며, 이를 올여름에 출시할 예정이다. 이어서 더 발전된 HC2 프로세서를 선보일 계획이다.