AI 반도체 스타트업 디매트릭스(d-Matrix)가 최근 2억 7,500만 달러(약 3,960억 원)의 시리즈 C 투자 유치에 성공하며 업계의 주목을 받고 있다. 이번 투자 라운드는 불하운드 캐피털(Bullhound Capital), 트리아토믹 캐피털(Triatomic Capital), 싱가포르 국부펀드 테마섹(Temasek)이 주도했으며, 이로써 디매트릭스의 기업 가치는 20억 달러(약 2조 8,800억 원)에 달하게 됐다.

디매트릭스는 ‘디지털 인메모리 컴퓨트(digital in-memory compute)’라는 독자 기술을 기반으로 기존 고대역폭 메모리(HBM) 기반 그래픽카드 아키텍처를 대체할 새로운 추론용 칩 ‘코르세어(Corsair)’를 개발했다. 일반적인 GPU는 연산 유닛과 메모리가 분리돼 있는 반면, 코르세어는 연산 유닛을 메모리 내에 집적함으로써 연산 처리 속도와 전력 효율을 동시에 끌어올린 것이 특징이다.

코르세어는 PCIe 카드 형태로 서버에 바로 연결할 수 있으며, 칩에는 각각 1GB 용량의 고속 SRAM이 탑재된다. SRAM은 기존 DRAM보다 빠른 접근성을 제공하며, 디매트릭스는 이를 AI 추론에 핵심적인 '벡터-행렬 곱셈' 연산에 활용하도록 회로 구조를 최적화했다. 또한 해당 칩은 RISC-V 기반 제어 코어와 병렬 연산에 최적화된 SMID 코어를 포함하고 있어 복잡한 연산도 신속히 처리할 수 있다.

칩 내부는 자체 개발한 고속 연결 구조인 'DMX 링크'로 구성되어 있으며, SRAM 용량 한계를 보완하기 위해 256GB 용량의 LPDDR5 메모리 풀도 탑재됐다. 이 메모리는 모바일 디바이스에 주로 사용되는 저전력 설계로, AI 모델 데이터를 효율적으로 저장할 수 있다. 특히 모델 정보 저장에는 차세대 부동소수점 데이터 형식인 MXINT4 블록 플로팅 포인트를 사용해 공간 효율을 극대화하고 있으며, 초당 9,600조 회 연산 성능을 구현한다는 것이 회사 측 설명이다.

디매트릭스는 최근 코르세어 전용 네트워크 인터페이스 카드(NIC) ‘제트스트림(JetStream)’도 공개했다. 해당 모듈을 활용하면 코르세어를 장착한 서버 여러 대를 하나의 인공지능 추론 클러스터로 묶을 수 있다. 이를 쉽게 구현할 수 있도록 최대 8개의 코르세어 서버를 단일 랙에 집적할 수 있는 '스쿼드랙(SquadRack)' 구조도 선보였다. 디매트릭스에 따르면 이 구조는 최대 1,000억 개 파라미터를 담은 AI 모델을 전량 SRAM에서 구동할 수 있어 HBM 기반 시스템 대비 성능이 최대 10배에 달한다.

소프트웨어 측면에서도 디매트릭스는 AI 추론 작업을 자동화하는 스택 '에비에이터(Aviator)'를 패키지에 포함했다. 이 소프트웨어는 모델 디버깅과 성능 추적 도구까지 포함해 고객이 보다 쉽고 효율적으로 인프라를 운용할 수 있도록 설계됐다.

한편, 디매트릭스는 내년 출시 예정인 차세대 추론 가속기 ‘랩터(Raptor)’ 개발에도 박차를 가하고 있다. 랩터는 연산 유닛 위에 메모리 셀을 직접 쌓는 3D 구조를 채택해, 데이터 이동거리를 줄이는 방식으로 처리 속도를 높이고자 한다. 제조 공정 역시 기존 코르세어의 6나노미터에서 4나노미터로 한 단계 더 정밀해져 성능과 전력 효율이 동시에 개선될 전망이다.

이번 투자 유치는 AI 시대의 핵심 기술인 추론처리를 재정의하려는 디매트릭스의 독창적 접근이 시장의 신뢰를 얻고 있음을 방증한다. AI 모델이 더욱 정교해지는 만큼, 이를 실시간으로 처리하는 하드웨어 기술의 경쟁은 앞으로도 더욱 치열해질 것으로 보인다.