코인베이스 시험서 오퍼스·소넷 최신 모델, 구형보다 탐지율 낮아

최윤서 기자 2026.10.12 23:59

토포AI로 이 기사 더 깊이 읽기

최신 인공지능 모델 3종이 코인베이스의 사기 탐지 시험에서 이전 버전보다 낮은 재현율과 금액 가중 재현율을 기록했다. 코인베이스는 과거 온램프 거래 1만6140건을 같은 기준으로 평가했다.

코인베이스는 개발자 플랫폼 계정 게시물에서 확인된 사기 거래 813건이 포함된 기록을 시험했다고 밝혔다. 오퍼스 4.5와 5, 소넷 4.6과 5, GPT-5.4와 GPT-5.6(솔)을 비교했다.

세 계열 모두 최신 모델의 재현율, F1 점수, 금액 가중 재현율이 이전 버전보다 낮았다. 재현율은 실제 사기 거래 가운데 모델이 찾아낸 비율이며, 금액 가중 재현율은 전체 사기 금액 중 탐지한 금액의 비중이다. 코인베이스는 사기 건수를 많이 찾아내는 것과 사기 금액을 많이 탐지하는 것이 서로 다른 목표라고 설명했다.

모델별 결과에는 차이가 있었다. 코인베이스의 시험에서 오퍼스 5와 소넷 5는 이전 버전보다 네 가지 지표 모두 낮았다. 소넷의 재현율은 22.2%포인트, 금액 가중 재현율은 22.9%포인트 하락했다.

GPT-5.6(솔)은 정밀도가 이전 버전보다 11.5%포인트 높았지만, 재현율은 20.7%포인트, 금액 가중 재현율은 21.8%포인트 낮았다. 정밀도는 모델이 사기로 분류한 거래 가운데 실제 사기인 거래의 비율이다.

코인베이스는 시험 결과가 성능 차이를 보여줄 뿐 그 원인까지 확정하지는 않는다고 밝혔다. 가능한 설명으로 모델의 판단 경계와 프롬프트 처리 방식, 학습 데이터 구성과 후속 학습 과정의 변화를 들었다. 이번 평가는 최신 모델을 실제 환경에 배포했을 때 고객 피해가 어떻게 달라지는지를 측정한 실험은 아니다.

회사는 배포 전 과거 거래를 재생해 후보 모델을 같은 기준으로 비교했다.