131억 매개변수 AI 모델 개발 과정과 초기 평가 공개

리만 컴퓨팅(Riemann Computing)이 매개변수 약 131억개인 언어모델 ‘My Name is Riemann’의 개발 과정과 초기 평가 결과를 공개했다. 이 모델은 1억6300만 매개변수 모델에서 출발해 단계적으로 확장한 사전 공개 버전이다.

리만 컴퓨팅은 4일(현지시간) 발표문에서 모델의 학습 방식과 장비, 초기 평가 결과를 설명했다. 개발진은 10월 28일 OpenPeer AI 조직을 통해 기술 문서를 공개했다.

개발의 출발점은 매개변수 1억6300만개인 OpenPeerLLM이다. 개발진은 공개된 기존 가중치를 활용해 여러 단계를 거쳐 모델 규모를 키웠으며, 처음부터 같은 크기의 모델을 새로 학습하지는 않았다.

매개변수는 모델이 학습 과정에서 조정하는 값이다. 모델의 매개변수 수와 학습에 사용한 토큰 수는 서로 다른 지표다.

개발진은 OpenPeer-AI-NTK-Trainer라는 도구를 사용했다. 이 도구는 신경 접선 커널 기반 게이트 제어기를 통해 모델의 출력값을 조정한다.

기술 문서에 따르면 제어기는 기반 모델의 가중치를 바꾸지 않은 채 출력값을 조정하도록 설계됐다. 개발진은 이를 여러 모델 개발 단계의 실험에 활용했다.

학습 장비는 단계에 따라 달랐다. 초기에는 외장 GPU를 연결한 노트북을 썼고, 이후 AMD($AMD) Instinct MI325X GPU 8개를 탑재한 클라우드 장비로 옮겼다.

회사가 밝힌 마지막 개발 단계의 학습량은 약 21억6000만 토큰이다. 이 수치는 모델 규모인 매개변수 수와는 별도로, 해당 단계에서 학습에 사용한 토큰의 양을 나타낸다.

초기 평가는 프롬프트와 완성문 1000쌍을 대상으로 진행됐다. 개발진은 여섯 번째 단계의 제어기를 적용하기 전후 결과를 비교했다.

제어기를 적용한 뒤 음의 로그우도는 1.323에서 1.310으로 낮아졌다. 다음 토큰 예측 정확도는 67.73%에서 67.84%로 바뀌었다.

기술 문서는 평가 문장 일부가 사전 학습 자료에도 포함돼 있다고 설명했다. 평가 데이터가 학습 자료와 성격이 비슷하다는 점도 함께 밝혔다.

따라서 이번 수치를 일반적인 질문 응답 능력이나 다른 AI 모델과의 성능 비교 결과로 해석할 수는 없다. 발표문도 이 결과가 범용 또는 최첨단 AI 역량을 입증하는 것은 아니라고 밝혔다.

개발진은 학습 과정의 한계도 기술했다. 중간 단계에서는 자료를 파일 순서대로 읽어 앞부분 문서가 학습에 더 많이 반영됐다.

마지막 단계에서는 예상했던 자료량과 실제 자료량이 달라 일부 문서를 반복 학습했다. 기술 문서는 반복 구간에서 학습 손실이 낮아졌더라도 새로운 내용을 익혔다는 의미는 아니라고 설명했다.

OpenPeer AI는 연구자와 개발자가 이용할 수 있는 공개 AI 개발 프로젝트를 제공하는 조직으로 소개됐다. 리만 컴퓨팅은 데이터 압축과 컴퓨팅 인프라, 기업용 독점 시스템도 사업 분야로 들었다.

회사는 이 모델을 완성된 소비자용 챗봇이 아니라 실험과 추가 개발을 위한 사전 공개 버전으로 규정했다. 발표문은 더 폭넓은 평가와 추가 학습 데이터, 학습 과정 개선이 필요하다고 밝혔다.