비탈릭 부테린, AI 공격 기능 제한 지지…KYC 확대 우려

비탈릭 부테린(Vitalik Buterin) 이더리움 공동창업자가 인공지능(AI) 모델의 공격 기능을 제한하는 조치를 지지했다. 그는 AI 보안 위험에 제대로 대응하지 못하면 이용자 신원 확인(KYC)과 감시가 확대될 수 있다고 우려했다.

부테린은 26일 X에 올린 글에서 Moonshot AI가 Kimi K3.1 Pro의 학습 데이터에서 고급 사이버 공격 관련 내용을 제외한 데 대해 “이용 사례를 차별하는 것은 이용자를 차별하는 것보다 훨씬 덜 나쁘다”고 말했다. 위험한 기능을 줄이는 방식과 이용자의 신원에 따라 접근을 제한하는 방식을 구분한 발언이다. 그는 강력한 사이버 공격에 대비해 기존 시스템을 보강하고 오래된 코드를 점검하며 새 코드에 형식 검증을 적용할 시간이 필요하다고 했다.

부테린이 언급한 KYC 의무화와 감시 확대는 이미 시행된 조치가 아니라, AI 위험에 제대로 대응하지 못할 경우 나타날 수 있다고 경고한 시나리오다. 그의 주장은 보안 통제의 부담을 모든 이용자의 신원 확인으로 돌려서는 안 된다는 취지다.

Moonshot AI는 Kimi K3.1 Pro 기술 설명에서 중간 학습 데이터와 강화학습 환경에 포함된 사이버 공격 관련 자료를 제거했다고 밝혔다. 일반적인 코딩 작업에 필요한 기능은 유지하면서 모델의 악용 위험을 줄이기 위한 조치라고 설명했다.

회사가 자체 취약점 탐지·공격 과제인 ‘xdev-bench-hard’에서 측정한 결과, 해당 조치를 적용하지 않은 중간 모델은 최대 세 차례 시도 기준 과제의 90.5%를 해결했다. 공개된 Kimi K3.1 Pro는 81.0%를 기록했다. 두 수치는 같은 학습 과정에서 자료 제거 조치의 영향을 비교한 회사 자체 평가로, 실제 환경의 사이버 공격이 얼마나 줄어드는지를 입증한 결과는 아니다.

앞서 영국 AI 안전연구소와 미국 AI 표준·혁신센터는 이전 모델인 Kimi K3의 사이버 역량을 공동 평가했다. 두 기관의 예비 평가에서 Kimi K3는 모의 기업 네트워크 공격 경로 32단계 가운데 평균 17단계에 도달했고, 평가 대상 중 사이버 역량이 가장 높은 미국 모델들은 평균 28.5단계까지 진행했다. 기관들은 모의 환경이 실제 네트워크와 다르다고 설명했다. 이 결과는 Kimi K3 대상 평가로, Kimi K3.1 Pro의 안전성을 확인한 것은 아니다.

Moonshot AI는 Kimi K3.1 Pro를 자사 서비스와 API에서 제공하고 있으며 전체 모델 가중치는 11월 4일까지 공개할 예정이라고 밝혔다. 회사는 이용자가 직접 운영할 수 있는 모델이 방어 목적의 코드 점검에도 쓰일 수 있다고 주장했다. 가중치 공개 후 외부 연구자도 공격 기능 제한의 효과를 평가할 수 있다.