큐웬 3.8 플래시, 문맥 10만 토큰서 출력속도 3할 하락

비탈릭 부테린이 로컬 AI 모델의 문맥 길이를 10만 토큰 이상으로 늘리자 출력 속도가 초당 18~21토큰으로 낮아지는 실측 결과를 공개했다. 짧은 문맥에서는 초당 28~33토큰이 측정됐다.

부테린은 AMD 스트릭스 헤일로(Strix Halo) 플랫폼을 탑재한 노트북에서 큐웬 3.8 플래시(Qwen 3.8 flash)를 오픈소스 추론 프레임워크 라마.cpp(llama.cpp)로 실행했다. 체인뉴스(ABMedia)는 그가 10개 테스트의 성능표를 공개했다고 전했다.

표에는 기존 프롬프트 길이, 새로 입력한 프롬프트 길이, 생성 토큰 수, 입력 처리 속도, 출력 속도가 담겼다. 테스트는 기존 문맥 길이에 따라 짧은 문맥과 긴 문맥 두 그룹으로 나뉘었다.

기존 문맥이 2136~7799토큰인 6개 테스트에서 출력 속도는 초당 28.07~33.37토큰이었다. 가장 빠른 측정값은 초당 33.37토큰, 가장 낮은 값은 초당 28.07토큰이었다.

기존 문맥이 10만4535~10만7402토큰인 4개 테스트에서는 출력 속도가 초당 18.42~20.78토큰으로 측정됐다. 짧은 문맥과 비교하면 출력 속도가 약 3~4할 낮아진 수준이다.

입력 처리 속도도 문맥 길이에 따라 차이를 보였다. 짧은 문맥 그룹에서는 한 차례를 제외하고 초당 300~373토큰이었지만, 긴 문맥 그룹에서는 초당 150~198토큰으로 낮아졌다.

짧은 문맥 그룹의 예외적인 입력 처리 속도는 초당 109.82토큰이었다. 해당 테스트의 기존 프롬프트는 2136토큰, 새로 입력한 프롬프트는 110토큰이었다.

토큰은 AI 모델이 문장을 처리하고 생성하는 기본 단위다. 문맥 길이는 모델이 한 번에 참고하는 입력 정보의 범위를 뜻하며, 문맥이 길어질수록 모델이 처리해야 할 정보량도 늘어난다.

이번 결과는 같은 노트북에서 문맥 길이에 따른 성능 변화를 비교한 자료다. 모델의 양자화 정밀도와 메모리 구성, 스트릭스 헤일로의 세부 사양과 전력 설정은 공개되지 않았다.

따라서 이번 수치를 다른 컴퓨터의 측정 결과와 직접 비교하기는 어렵다. 하드웨어와 실행 설정이 달라지면 같은 모델이라도 입력·출력 속도가 달라질 수 있기 때문이다.

부테린은 라마.cpp의 해당 모델 처리 효율이 빠르게 개선되고 있다고 밝혔다. 그는 로컬 모델이 “대부분의 작업을 직접 처리할 수 있는 지점에 가까워졌다”고 평가했다.

비탈릭 부테린(Vitalik Buterin) 이더리움 공동창업자는 로컬 모델을 개인정보 보호를 위한 조정 계층으로 활용하는 방식도 제시했다. 그는 “로컬 모델이 더 강력한 모델에 대한 질의를 조정해 개인정보가 담긴 질문이 유출되지 않도록 하는” 작업 흐름이 가능해지기 시작했다고 말했다.

이 방식에서는 로컬 모델이 사용자의 질문을 먼저 처리한 뒤 클라우드 모델로 보낼 내용과 기기에 남길 내용을 나눈다. 민감한 정보가 포함된 요청을 그대로 외부 서버에 보내지 않을 수 있다는 점이 핵심이다.

비탈릭 부테린은 앞서 프라이버시 기술의 대중화를 위해 도입 비용과 사용 편의성이 중요하다고 말했다. 이번 결과는 특정 노트북에서 문맥 길이에 따른 로컬 모델의 처리 속도 차이를 보여준 측정값이다.

다만 이번 결과는 특정 노트북과 실행 환경에서 나온 측정값이다. 로컬 AI 모델의 실제 활용 가능성을 판단하려면 모델 설정과 메모리 구성, 전력 조건을 함께 공개한 추가 테스트가 필요하다.