서브쿼드래틱, 시드 투자 유치…1,200만 토큰 ‘초장문’ LLM SubQ 공개

생성형 인공지능 스타트업 서브쿼드래틱(Subquadratic)이 시드 투자 2,900만달러(약 426억원)를 유치하고, 최대 1,200만 토큰을 처리할 수 있는 대형언어모델 ‘SubQ’를 공개했다. 기존 AI 모델의 핵심 한계로 꼽히는 ‘컨텍스트 윈도우’와 연산비용 문제를 동시에 풀겠다는 구상이다.

회사는 5일(현지시간) 출범과 함께 이 같은 내용을 발표했다. 서브쿼드래틱은 저스틴 댕글 최고경영자와 알렉산더 웨던 최고기술책임자가 공동 창업했으며, 모델 구조에 ‘서브쿼드래틱 아키텍처’를 적용했다고 설명했다. 핵심은 모든 토큰을 전부 비교하는 기존 ‘밀집 어텐션’ 대신, 필요한 관계를 선별적으로 계산하는 ‘희소 어텐션’을 활용해 처리량을 크게 끌어올린 점이다.

현재 주요 대형언어모델은 보통 12만8,000토큰 안팎, 최상위 클라우드 모델도 100만 토큰 수준의 컨텍스트 윈도우를 제공하는 경우가 많다. 반면 SubQ는 최대 1,200만 토큰을 지원한다고 회사는 밝혔다. 이는 약 900만 단어, 책 120권에 가까운 분량을 한 번에 읽을 수 있는 규모다.

이 차이는 단순한 숫자 경쟁 이상이라는 평가가 나온다. 지금까지는 모델이 한 번에 볼 수 있는 정보량이 제한돼 검색증강생성(RAG)이나 에이전트형 검색 시스템을 붙여 필요한 데이터를 따로 골라 넣는 방식이 일반적이었다. 다만 이런 방식은 지연시간을 늘리고 추가 연산비용을 발생시키며, 어떤 정보를 우선 넣을지에 따라 결과가 달라질 수 있다는 한계가 있었다.

서브쿼드래틱은 이런 구조적 문제의 원인을 트랜스포머 기반 모델의 ‘제곱형 확장’에서 찾고 있다. 기존 모델은 입력이 2배로 늘면 계산량이 단순히 2배가 아니라 대체로 4배 수준으로 커진다. 반면 회사 측은 자사 구조가 ‘선형 확장’에 가까워 입력이 2배 늘어도 계산량은 2배 정도만 증가한다고 설명했다. 긴 문서, 방대한 코드 저장소, 대형 기업용 데이터셋처럼 맥락이 긴 작업일수록 체감 차이가 더 커질 수 있다는 의미다.

성능 수치도 공격적으로 제시했다. 서브쿼드래틱에 따르면 SubQ는 100만 토큰 환경에서 주요 최전선 모델보다 50배 이상 빠르고 비용은 50분의 1 이하이며, 정확도는 더 높았다. 또 1,200만 토큰 전체 구간에서는 다른 선도 모델 대비 연산 요구량을 거의 1,000분의 1 수준으로 낮출 수 있다고 주장했다.

회사는 장문 맥락 평가 지표인 ‘RULER 128K’ 벤치마크에서도 비교 우위를 강조했다. 서브쿼드래틱 설명에 따르면 SubQ는 8달러(약 1만1,752원) 비용으로 정확도 95%를 기록했다. 반면 앤트로픽의 클로드 오퍼스는 약 2,600달러(약 381만9,400원) 비용에 정확도 94%를 기록해, 비용 면에서 약 300배 차이를 보였다는 주장이다.

RAG 의존 줄이고, 코드 전체를 한 번에 읽는 방향 제시

서브쿼드래틱은 기술 공개와 함께 개발자와 기업 고객을 위한 SubQ API도 출시했다. 이를 통해 최대 1,200만 토큰 컨텍스트 윈도우를 활용할 수 있도록 지원한다. 동시에 코드 작업용 명령줄 인터페이스(CLI) 에이전트 ‘SubQ 코드’도 선보였다. 이 도구는 코드베이스 전체를 하나의 컨텍스트 윈도우에 넣고 계획, 실행, 검토를 한 흐름 안에서 처리하는 데 초점을 맞췄다.

이는 소프트웨어 개발 분야에서 특히 관심을 끌 수 있는 대목이다. 지금까지는 대형 저장소를 다룰 때 여러 에이전트나 검색 계층을 나눠 붙여야 하는 경우가 많았는데, 컨텍스트 윈도우가 크게 넓어지면 구조가 단순해질 수 있기 때문이다. AI 업계에서는 최근 모델 성능 자체만큼이나 ‘제품화 비용’과 ‘응답 지연’이 중요한 경쟁력으로 떠오르고 있다.

서브쿼드래틱은 검색 제품도 준비 중이라고 밝혔다. 초기에는 무료로 제공한 뒤 연구, 코딩, 기업용 업무로 확장하는 전략을 염두에 둔 것으로 보인다. 다만 단기간 내 오픈소스나 오픈웨이트 형태로 공개할 계획은 없다고 선을 그었다. 대신 고객 맞춤형 학습은 가능하도록 지원할 방침이다.

초장문 AI 경쟁 본격화…핵심은 ‘성능’보다 ‘비용 곡선’

이번 투자에는 소프트뱅크 비전펀드 출신 하비에르 비야미사르, 틴더 공동창업자 저스틴 마틴, 그리고 앤트로픽, 오픈AI, 스트라이프, 브렉스 초기 투자자들이 참여했다. 신생 기업임에도 투자 유치 규모가 적지 않다는 점에서, 시장이 ‘긴 맥락 처리’ 분야를 차세대 인공지능 인프라 경쟁 영역으로 보고 있다는 해석도 나온다.

결국 서브쿼드래틱의 승부수는 더 긴 컨텍스트 윈도우 자체보다, 이를 얼마나 싸고 빠르게 구현하느냐에 있다. 생성형 인공지능이 기업 업무, 검색, 코딩으로 깊게 들어갈수록 대용량 문맥을 안정적으로 처리하는 능력은 중요해질 가능성이 크다. 서브쿼드래틱이 제시한 수치가 실제 현장에서도 재현된다면, 장문 처리 중심의 AI 시장 흐름에 적지 않은 변화를 만들 수 있다.