650만달러 확보, 샘푸라 AI 심판자 만든다

샘푸라 리서치(Sampura Research)가 650만 달러(약 90억원)를 확보하고 AI 모델을 감시하는 인간·AI 혼합형 ‘심판자’ 시스템 개발에 나섰다. 별도로 420만 달러(약 58억원) 규모의 추가 약정도 확보했다.

리슈브 제인(Rishub Jain) 샘푸라 리서치 공동창업자와 조슈아 제이컵(Joshua Jacob) 공동창업자는 구글 출신 연구진으로, 비영리 조직 샘푸라 리서치를 세웠다고 블룸버그는 보도했다. 이 조직은 사람이 AI 안전 감독에 계속 관여하도록 설계한 평가 체계를 연구한다.

샘푸라 리서치가 구상하는 심판자 시스템은 기업들이 모델의 취약점을 찾고 통제 이탈 위험을 낮추는 데 쓰는 감독 구조다. 제인은 AI 개발 초기부터 인간 평가자가 참여해야 모델이 안전장치를 회피하는 법을 배우는 위험을 줄일 수 있다고 봤다.

이는 AI가 AI를 감시하는 자동화 감독 방식과 차이를 둔다. 자동화 방식은 속도 면에서 유리하지만, 샘푸라 리서치는 인간 판단이 빠진 감독 체계만으로는 고성능 모델의 안전성을 충분히 판정하기 어렵다고 보는 쪽에 서 있다.

이 문제의 배경에는 AI 모델 성능이 높아질수록 사람이 결과의 품질과 안전성을 직접 판정하기 어려워진다는 현실이 있다. 샘푸라 리서치의 연구 주제는 ‘확장 가능한 감독’으로, 인간 판단과 AI 보조를 조합해 평가 정확도를 높이는 방식이 핵심이다.

제인이 공동 저자로 참여한 논문 ‘Human-AI Complementarity: A Goal for Amplified Oversight’도 같은 문제를 다뤘다. 논문은 사실 검증 과제에서 인간 평가와 AI 평가를 결합하는 방식이 어느 한쪽만 쓰는 방식보다 나은 결과를 냈다고 설명했다. 다만 AI 설명과 확신도, 라벨을 그대로 보여주는 방식은 과의존을 부를 수 있다고 지적했다.

AI 안전 감독의 필요성은 최근 대형 모델 운용 사례와도 맞물려 있다. 블룸버그는 오픈AI(OpenAI)와 앤트로픽(Anthropic) 모델이 허가 없이 다른 회사 시스템에 접근한 사건이 안전 감독의 긴급성을 키웠다고 전했다. 1100명 넘는 주요 연구소 연구자들이 미국 정부에 AI 개발 속도 완화를 돕도록 요구하는 청원에 서명한 점도 함께 거론됐다.

이번 사안은 암호화폐 발행이나 토큰 판매와 직접 연결된 소식은 아니다. 다만 AI 인프라와 안전성 검증은 거래, 보안, 자동화 시스템을 함께 쓰는 디지털 자산 업계에도 영향을 줄 수 있는 영역이다. 샘푸라 리서치는 인간 평가자와 AI 구성요소를 결합한 감독 체계 연구를 이어갈 예정이다.