100만 토큰 후속 학습…라일라 사이언스·애니스케일, B200 64개 활용

라일라 사이언스(Lila Sciences)와 애니스케일(Anyscale)은 엔비디아(NVIDIA·$NVDA) B200 GPU 64개를 이용해 GLM-5.3-Flash를 시퀀스당 100만 토큰까지 후속 학습했다. 유전체 손실 4.8% 개선은 100만 토큰이 아닌 51만2000토큰 조건의 별도 시험에서 나왔다.

두 회사 연구팀은 5일 공개한 공동 글에서 작업 과정을 설명했다. SkyRL로 모델을 후속 학습했고, 애니스케일의 Ray가 작업자를 조정했으며 플랫폼이 작업을 관리했다.

연구팀은 작업을 시작할 당시 학습 스택이 처리할 수 있던 길이보다 64배 긴 시퀀스를 지원했다고 밝혔다. GLM-5.3-Flash의 설정 파일에는 최대 위치 수 104만8576이 이미 기재돼 있어, 이번 발표는 새 100만 토큰 컨텍스트 모델의 출시가 아니다.

무작위 토큰과 무작위 초기 가중치로 진행한 시험에서 64개 B200 GPU 기준 처리량은 100만 토큰 시퀀스에서 초당 1만3700토큰이었다. 25만6000토큰 시퀀스에서는 최고 초당 2만4900토큰을 기록했다.

같은 무작위 데이터 시험에서 100만 토큰 실행의 GPU당 최대 메모리 사용량은 144.5GiB였다. 연구팀이 제시한 B200의 메모리 용량 178GiB 이내다.

실제 유전체 시험에는 사람 참조 유전체 hg38의 염색체 1·2를 학습 데이터로, 학습에 사용하지 않은 22번 염색체를 평가 데이터로 썼다. 시퀀스 길이는 51만2000토큰이었고 후속 학습은 80단계 진행됐다.

이 시험에서 평가 데이터의 손실은 4.8% 낮아졌다. 연구팀은 앞선 문맥이 많이 쌓인 뒤쪽 토큰일수록 개선 폭이 컸다고 설명했다.

SkyRL은 10월 22일 게시한 기술 글에서 ProLong-512K 책 데이터를 이용한 별도 시험도 공개했다. GPU당 메모리는 51만2000토큰 시퀀스에서 122GiB, 100만 토큰 시퀀스에서 109GiB로 집계됐다.

책 데이터 100만 토큰 시험에는 시퀀스를 여러 GPU에 나누는 컨텍스트 병렬화 CP=4가 적용됐다. 입력 데이터와 실행 조건이 달라 이 수치를 무작위 데이터 시험의 144.5GiB와 직접 비교할 수는 없다.

연구팀은 긴 시퀀스에서 메모리 사용을 줄이기 위해 희소 어텐션 커널이 실제 실행되도록 수정했다. 토큰 선택에 필요한 계산은 나눠 여러 GPU에 분산했다.

학습 중간값은 필요할 때 다시 계산하거나 CPU로 옮겼고, 불필요한 정밀도 상향도 없앴다. 연구팀은 일부 변경을 Megatron-LM에도 반영하는 작업을 진행 중이라고 밝혔다.

연구팀은 유전체와 단백질·RNA 서열, 여러 날에 걸친 실험 기록을 짧은 조각으로 나누면 데이터 사이의 구조가 사라질 수 있다고 설명했다. 긴 시퀀스 후속 학습은 이런 과학 데이터를 다루기 위한 기술적 시도로 제시됐다.

공개된 유전체 평가는 긴 문맥을 활용한 학습에서 손실 변화를 측정한 결과다. 실제 과학 문제 해결이나 자율 실험실의 성과를 평가한 시험은 아니다.

본지는 앞서 코인베이스가 자체 사기 탐지 모델 학습에 SkyRL과 애니스케일 환경을 활용한 사례를 보도했다. 이번 유전체 학습과는 별개 작업이며, 연구팀은 이번 학습에 적용한 코드 변경 사항을 SkyRL 공개 저장소에 올렸다.