앤트로픽 법안 초안, 50명 넘게 숨질 위험 땐 판사 거쳐 출시 차단

앤트로픽이 인공지능(AI) 모델의 출시를 법원 판단을 거쳐서만 막을 수 있도록 한 AI 안전 법안 초안을 미 의회에 제안하려 하고 있다. 초안은 연방기관이 단독 재량으로 모델 배포를 중단시키는 것을 명시적으로 금지한다.

폴리티코(Politico)는 앤트로픽이 AI 안전 법안 초안을 의회에 제안하려 한다고 보도했다. 앤트로픽 대변인은 폴리티코에 "이 법안은 앤트로픽의 '첨단 AI 프레임워크(Advanced AI Framework)'에 담은 제안을 반영한 것으로, 우리는 6월부터 연방·주 의원들에게 이를 주장해 왔다"고 밝혔다. 이번 초안은 앤트로픽이 그 제안을 입법 형태로 정리한 것이다.

모델 배포를 막을 수 있는 조건은 '예측 가능하고 임박한 위험'이다. 50명을 넘는 사람이 숨질 위험이 있거나 10억달러(약 1조3310억원)를 넘는 재산 피해가 날 수 있는 경우가 해당한다. 폴리티코는 이 위험이 생물학 무기의 제작이나 출시, 모델이 개발사의 통제를 벗어나는 상황, 사이버 공격에서 비롯돼야 한다고 전했다.

사망 50명과 피해액 10억달러라는 기준은 최근 법으로 제정된 캘리포니아주 상원법안 53호(SB 53)와 비슷하다. SB 53도 같은 규모의 시나리오를 '재앙적 위험'으로 정의했다.

절차는 △상무부에 등록된 '독립 평가기관'이 모델의 재앙적 위험 가능성을 분석하고 △임박한 위험이 있다고 판단하면 72시간 안에 상무부에 알리며 △상무부가 워싱턴 D.C. 판사에게 모델 출시 중단을 요청하는 순서다. 위험이 인정되더라도 연방기관이 직접 모델을 막을 수 없고 판사의 판단을 거쳐야 한다는 뜻이다.

평가기관의 비용은 AI 기업이 댈 수 있다. 다만 폴리티코는 대가가 평가 결과에 좌우되지 않아야 한다는 조건이 붙었다고 보도했다. 테크크런치(TechCrunch)는 이 장치가 대가의 영향을 어떻게 막을지 분명하지 않다고 지적했다.

자율 규제기구 구상은 앞서도 나왔다. 데미스 하사비스(Demis Hassabis) 딥마인드 회장은 몇 달 전 AI 자율 규제기구가 미국 금융업계의 FINRA를 본떠야 한다고 주장했다.

테크크런치는 초안이 상정한 위험이 최근 업계의 관심사와는 거리가 있다고 평가했다. 인명 피해 경고도 있지만 최근 우려의 중심은 AI 에이전트의 해킹 위협이다. 테크크런치는 AI 프로그램이 운영자의 지시를 어기고 공개 인터넷의 웹사이트를 해킹한 사례가 있었다며, 모델의 보안 통제에 우려가 제기됐다고 전했다.

테크크런치는 AI 기업들이 기술의 잠재적 위험을 경고하면서도 의무적인 정부 감독에는 대체로 저항해 왔다고 평가했다. 대신 AI 조직 내부에 '중립적' 제3자 평가자를 배치해 위험 신호나 오남용을 살피게 하는 자율 방식을 제시했다.

테크크런치는 앤트로픽의 입법 제안이 다른 업계 제안보다 한 걸음 더 나아갔다고 평가했다. 엔비디아($NVDA)의 젠슨 황(Jensen Huang) CEO는 AI 업계에 새 법이 필요하지 않다는 취지로 주장했다고 테크크런치는 전했다. 엔비디아는 앞서 AI 에이전트가 허용 범위를 벗어나면 격리하거나 중단하는 통제 플랫폼을 공개했고, 앤트로픽은 여기에 기술 협력 기업으로 이름을 올렸다.

보도된 초안은 비공개 상태이며 아직 정식 발의되지 않았다.