GPT-5.6, 취약점 26건 중 23건 탐지했다

알리바바(Alibaba)의 큐원(Qwen)3.8-맥스가 취약점 탐지 시험에서 비용 경쟁력을 보였다는 보도가 나왔다. 그러나 시험을 진행한 보안업체 Aikido의 공개 보고서에는 해당 모델의 결과가 실리지 않았다.

중국 블록체인 매체 BlockBeats는 5일 큐원3.8-맥스가 세 차례 실행한 취약점 탐지 시험에서 경쟁 모델과 비슷한 성과를 냈다고 전했다. 총비용은 821달러(약 117만원)로, 클로드 오푸스 5와 GPT-5.6 솔의 절반 수준이라고 설명했다.

Aikido는 7월 16일 공개한 뒤 27일 갱신한 벤치마크에서 깃허브 어드바이저리 데이터베이스에 등록된 CVE 26건을 대상으로 AI 모델 13개를 세 차례씩 실행했다. 시험 목록에는 오픈AI(OpenAI)의 GPT-5.4·GPT-5.5·GPT-5.6 계열과 앤트로픽(Anthropic)의 클로드 하이쿠·클로드 오푸스 계열이 포함됐다.

xAI의 그록-4.5와 구글(Google)의 제미나이 계열, 오픈웨이트 모델 GLM-5.2도 시험 대상에 올랐다. 큐원3.8-맥스는 Aikido가 공개한 모델 목록에서 확인되지 않았다.

공개 결과에서는 GPT-5.6이 CVE 26건 중 23건을 다시 찾아 재현율 88.5%로 가장 높은 성과를 냈다. 클로드 오푸스 계열은 15∼18건, 그록-4.5는 20건을 찾았다.

7월 19일 추가된 키미 K3도 23건을 찾아 GPT-5.6과 같은 최상위권에 올랐다. Aikido는 키미 K3의 시험 비용이 GPT-5.6-솔보다 4배 저렴했다고 밝혔다.

이번 시험은 모델을 일반 챗봇처럼 질의하는 방식으로 진행되지 않았다. Aikido는 AI가 실제 코드 저장소를 탐색하고 의심스러운 흐름을 추적하도록 설계한 코드 분석 하네스 안에서 각 모델을 구동했다.

평가에는 같은 모델을 세 차례 실행해 한 번이라도 찾아낸 취약점을 합산하는 ‘pass@3’ 방식이 적용됐다. 실행할 때마다 놓치는 취약점이 달라질 수 있어 단일 실행 결과보다 반복 실행에 따른 탐지 범위를 보는 방식이다.

반복 실행에서는 모델 호출 비용도 전체 감사 비용에 직접 영향을 준다. 모델 한 번의 성능뿐 아니라 반복 횟수와 하네스 설계, 오탐과 누락을 가려내는 검증 절차를 함께 비교해야 하는 이유다.

큐원 코드(Qwen Code) 문서는 qwen3.8-max가 qwen3.8-max-preview 버전을 가리킨다고 설명한다. 앞서 공개된 큐원3.8-맥스의 총 파라미터는 2조4000억개로 제시됐지만, 활성 파라미터 수와 라이선스 조건 등은 공개되지 않았다고 SiliconANGLE은 7월 19일 보도했다.

Aikido 벤치마크는 일반 소프트웨어의 알려진 CVE를 대상으로 했다. 스마트컨트랙트와 거래소 인프라, 지갑 보안 취약점을 별도로 시험한 결과는 보고서에 담기지 않아 이번 수치를 블록체인 보안 감사 성능으로 해석하기는 어렵다.

블록체인 분야에서는 AI를 실제 코드 점검에 투입하는 시도가 이어지고 있다. 비트코인 코드 저장소 150곳을 대상으로 한 AI 보안 점검과 이더리움 합의 클라이언트의 취약점 탐지 사례도 공개된 바 있다. 이들 사례에서도 AI가 제시한 후보를 실제 취약점과 오탐으로 구분하는 검증 절차가 핵심으로 꼽혔다.