이중 블라인드 AI 평가, 제미나이로 첫 시험

구글 딥마인드(Google DeepMind)가 AI 모델 성능평가에서 모델 개발사와 외부 평가기관이 서로의 핵심 자료를 보지 않는 이중 블라인드 방식을 시험했다. 모델이 시험 문항을 미리 학습하거나 개발사가 특정 벤치마크에 맞춰 성능을 끌어올리는 문제를 줄이기 위한 시도다.

구글 딥마인드는 27일 공식 블로그에서 싱가포르 AI 안전연구소, 오픈마인드(OpenMined), AVERI, ML커먼스(MLCommons)와 함께 제미나이 2.5 플래시 라이트를 비공개 벤치마크로 평가하는 파일럿을 진행했다고 밝혔다. 회사는 이번 방식을 독점 프런티어급 AI 모델에 대한 세계 첫 이중 블라인드 평가라고 설명했다.

핵심은 평가 문항과 모델 가중치를 동시에 보호하는 구조다. 외부 평가기관은 시험 프롬프트를 제공하지만 구글은 그 내용을 볼 수 없고, 구글은 모델을 제공하지만 평가기관은 모델 가중치를 볼 수 없다.

양쪽 자료는 구글 클라우드의 기밀 컴퓨팅 환경인 컨피덴셜 스페이스(Confidential Space)에서 처리됐다. 컨피덴셜 스페이스는 처리 중인 데이터를 보호해 외부 접근과 변조 위험을 낮추는 기술 환경이다.

지금까지 외부 평가는 계약상 보안 조항이나 로그 미저장 방식에 상당 부분 의존해 왔다. 그러나 평가기관이 시험 문항을 개발사에 넘기면 문항 노출 위험이 생기고, 개발사가 모델 가중치를 외부에 넘기면 지식재산 유출 부담이 커진다.

이번 파일럿은 두 위험을 동시에 줄이는 절차를 제시했다는 점에서 의미가 있다. 모델 개발사와 평가기관이 민감한 자료를 직접 공개하지 않고도 같은 평가 작업을 수행하도록 설계됐기 때문이다.

AVERI는 별도 파일럿 보고서에서 이번 평가가 2026년 7~8월 진행됐다고 밝혔다. 보고서에 적힌 시험 대상은 제미나이 2.5 플래시 라이트였고, ML커먼스는 안전성 벤치마크 계열인 AILuminate의 미사용 프롬프트를 제공했다.

평가 절차는 프롬프트 암호화, 기밀 컴퓨팅 환경 내 실행, 결과 복호화와 채점 순서로 진행됐다. AVERI는 구글 딥마인드와 함께 평가를 실행한 뒤 결과를 기준에 따라 채점했다.

AILuminate 프롬프트는 화학·생물·방사능·핵·폭발물 위험, 사이버 공격, 혐오 발언, 자해, 폭력 범죄 유도 등 안전성 영역을 다뤘다. 실제 프롬프트와 출력은 공개되지 않았다.

AVERI는 결과 유형과 실패 양상, 정량 평가를 구글 딥마인드에 비공개 보고서로 제공했다고 밝혔다. 이번 시도는 공개 점수 경쟁보다 평가 절차의 신뢰성에 초점을 맞춘 사례로 풀이된다.

AI 모델 벤치마크는 기업의 모델 선택, 연구자의 비교 평가, 정책 판단에 쓰인다. 시험 문항이 학습 데이터에 섞이거나 모델이 평가 환경의 흔적을 이용하면 점수는 실제 능력보다 높게 나올 수 있다.

프런티어 AI 평가에서는 성능뿐 아니라 안전성 검증 방식도 쟁점이 되고 있다. 본지는 앞서 프런티어 AI 모델의 사전검토 범위를 둘러싼 미국 내 논쟁이 커지고 있다고 전했다.

한국 기업에도 같은 문제가 닿아 있다. 생성형 AI와 AI 에이전트를 업무에 도입할 때 공개 벤치마크 점수만으로 모델을 고르기 어렵고, 평가 문항의 유출 여부와 평가기관의 독립성, 모델 제공사의 접근 범위를 함께 확인해야 한다.

다만 이번 파일럿이 AI 평가의 모든 문제를 해결한 것은 아니다. AVERI는 이번 보안 설계가 개발사의 조작 가능성을 모두 막는 것은 아니며, 신뢰 수준이 낮은 고위험 환경에서는 추가 보장이 필요하다고 밝혔다.

구글 딥마인드는 최근 조직 개편과 제미나이 개발 일정으로 시장의 주목을 받아 왔다. 본지는 앞서 구글 딥마인드 조직 개편과 차세대 제미나이 모델 지연이 투자자 우려를 키웠다고 전했다. 이번 파일럿은 모델 성능 경쟁이 단순한 점수 발표를 넘어 평가 방식과 검증 절차로 확장되고 있음을 보여준다.