오픈소스 AI의 반란…허미스 4, GPT-4를 넘다

오픈소스 인공지능(AI) 개발의 중심에 선 스타트업 누스 리서치(Nous Research)가 기존 상용 모델의 한계를 정면으로 돌파할 수 있는 새 모델을 선보였다. 이 회사는 지난 26일(현지시간) 초거대 언어모델(LLM) 시리즈인 '허미스 4(Hermes 4)'를 조용히 공개했다. 허미스 4는 기존 챗GPT나 클로드 시리즈 같은 상용 AI에 비해 콘텐츠 제약이 거의 없고, 사용자 제어권이 극대화된 방식으로 설계됐다는 점에서 AI 생태계에 적지 않은 충격을 주고 있다.

누스 리서치는 OpenAI, 구글(GOOGL), 앤트로픽과 같은 대형 기술기업들이 제시하는 콘텐츠 안전 장치를 "혁신을 가로막는 족쇄"로 보고, 사용자가 알고리즘 상호작용을 보다 직접적으로 통제할 수 있는 자유로운 구조에 초점을 맞췄다. 허미스 4는 거의 모든 질문에 응답할 수 있도록 설계된 반면, GPT-4나 클로드 4 등 주요 상용 모델은 각종 가이드라인으로 질문 자체를 차단하는 경우가 많다. 허미스 4는 이를 상징적으로 반영한 'RefusalBench(거부 벤치마크)' 테스트에서도 경쟁 모델보다 월등한 결과를 기록했다. GPT-4o는 17.67%, 클로드 소네트 4는 17% 응답률에 그친 반면, 허미스 4는 무려 57.1% 응답률을 기록했다.

기술적 성능 역시 업계 최상위권이다. 특히 복잡한 수학 문제 해결 능력을 겨루는 'MATH-500' 벤치마크에서 허미스 4의 최대 모델(4050억 매개변수)은 96.3%라는 주목할 만한 점수를 기록했다. 이는 오픈소스 모델 중 최고 수준이며, 개발비용 수백억원대의 상용 모델들과도 어깨를 나란히 하는 성과다. 또한 'AIME’24' 수학 경시대회 문제에서도 81.9%의 정확도를 달성해, AI의 고차원 연산 능력에서 새로운 기준을 세웠다는 평가가 나온다.

이러한 성과의 배경에는 '데이터포지(DataForge)'와 '아트로포스(Atropos)'라는 독창적인 학습 인프라가 있다. 데이터포지는 그래프 기반의 합성 데이터 생성기로, 위키피디아 같은 일반 컨텐츠를 고차원 문제 해결이나 창작 학습에 적합하도록 재구성한다. 예를 들어 문서를 랩 가사로 변환하고, 이를 바탕으로 문제와 정답을 생성하는 방식이다. 아트로포스는 수천 개의 훈련 환경을 통해 수학, 코딩, 도구 사용, 창작 등 다양한 영역의 강화학습을 수행하게 해 고품질 학습 데이터를 축적했다.

특히 누스 리서치는 일반적인 정적 '질의응답' 방식이 아니라, 모델의 '사고 흔적'을 추적 가능한 형태로 남기도록 함으로써 AI의 추론 과정을 투명하게 공개했다. 모델은 질문에 대한 응답을 내놓기 전 내부적으로 추론을 거쳐 `` 태그 안에 사고 과정을 기록하고, 이를 사용자가 직접 확인할 수 있도록 설계됐다. 이는 오픈AI의 'o1' 추론 모델의 핵심 전략이기도 하나, 오픈소스 모델로서 모든 과정을 공개적으로 운영한다는 점에서 차별화된다.

비록 총 192개의 엔비디아 B200 GPU와 7만1646 GPU 시간이 투입된 고연산 프로젝트였지만, 누스 리서치는 이를 통해 대형 테크기업의 수십억 달러 규모 AI 투자와 맞설 수 있는 기술 수준을 보여줬다. 투자사 델파이 벤처스의 토미 쇼네시 벤처캐피털리스트는 "누스는 인력도 자본도 한정돼 있지만, 그 어떤 거대기술사보다 빠르고 혁신적인 속도로 AI를 리드하고 있다"고 평가했다.

허미스 4의 개발 철학은 AI의 책임은 사용자에게 있고, 기업이 콘텐츠를 통제해서는 안 된다는 데 있다. "불필요한 필터링과 판에 박힌 경고 문구는 쓸모없고 짜증 날 뿐, 이용성과 혁신을 모두 해친다"는 것이 누스 리서치의 입장이다. 이 같은 자유로운 구조는 연구자와 개발자를 중심으로 큰 호응을 얻고 있으나, 동시에 AI 안전성과 악용 우려에 대한 새로운 논쟁도 불러일으키고 있다.

현재 허미스 4는 허깅페이스(Hugging Face)를 기반으로 한 오픈소스 모델로 누구나 다운로드할 수 있으며, 사용자 인터페이스가 개선된 '누스 챗'에서도 직접 실험해 볼 수 있다. API 연결도 가능해, 민감한 데이터나 규제 이슈에 대응하면서도 고성능 모델 구현이 필요한 기업 입장에서 흥미로운 대안이 될 수 있다.

궁극적으로 허미스 4의 공개는 AI 기술의 미래를 누가 통제해야 하는가라는 본질적인 질문을 던지고 있다. 방대한 자본과 독점적 훈련 데이터를 보유한 대기업이 아닌, 자율성과 개방성을 내세운 스타트업이 기술 패권에 균열을 가하며 더 많은 이들이 AI에 접근할 기회를 주는 것이 옳은 방향인지에 대한 사회적 논의가 요구된다.

기업 중심의 폐쇄형 AI가 기술 한계를 돌파하지 못하고 있는 지금, 누스 리서치의 도전은 단순히 새로운 모델의 등장을 넘어, 인공지능의 주도권이 어디로 향할지에 대한 신호탄인 셈이다.