마이크로소프트 AI 모델, 해킹·기만 금지 규범 공개

마이크로소프트($MSFT)가 AI 모델의 사이버공격과 인간 기만을 금지하는 행동규범을 공개했다. 이 규범은 모델이 인간을 대체하기보다 지원하고 인간의 번영을 앞당겨야 한다는 원칙을 담았다.

테크크런치는 14일 마이크로소프트가 자체 AI 모델의 학습과 작동 과정에 적용할 행동규범을 공개했다고 보도했다. 개별 사용자의 요구나 특정 작업보다 상위에 있는 기준으로, 모델의 행동 방향과 금지선을 정하는 내용이다.

규범은 사이버공격, 핵무기, 딥페이크 제작을 '절대적 제약'으로 규정했다. 모델이 인간의 감시를 피하거나 통제에서 벗어나기 위해 기만·자기강화·공모 등 어떤 수단을 사용하는 것도 금지했다.

마이크로소프트는 AI 모델이 인간의 지시를 넘어 독자적인 목표를 세우거나 권한을 확대해서는 안 된다고 밝혔다. 승인된 사람이나 시스템이 모델을 안정적으로 지시하고 수정하거나 중단할 수 있어야 한다는 취지다.

행동규범은 향후 10년 안에 초지능 AI 시스템이 대부분의 작업에서 인간의 성능을 넘어설 수 있다는 전망을 전제로 한다. 강력한 시스템을 통제하고 인간의 의도에 맞게 조정하는 일이 인류가 직면한 주요 과제가 될 수 있다고 설명했다.

이번 규범은 AI 모델의 일반 원칙과 구체적인 안전 제약을 함께 제시한다. 일반 원칙에는 인간 지원과 인간 번영의 가속이 포함되며, 모델의 자율성이 인간의 통제권을 침해하지 않도록 별도의 금지선을 뒀다.

사티아 나델라(Satya Nadella) 마이크로소프트 CEO는 “정렬을 설계 목표로 삼기 위해 필요한 연구와 집중, 신중한 속도 조절을 환영한다”며 “임베디드 평가자와 이를 단순한 구호 이상으로 만들 메커니즘을 개발하려는 광범위한 노력도 환영한다”고 말했다. AI 성능 경쟁과 함께 안전성 평가를 개발 과정에 포함해야 한다는 의미다.

AI 모델의 행동을 평가하는 임베디드 평가자는 모델이 작업을 수행하는 과정에서 안전 기준을 지키는지 점검하는 장치다. 모델의 출력 결과만 확인하는 방식보다 학습과 작동 과정에 평가 기능을 넣는 접근에 가깝다.

마이크로소프트가 AI 모델의 성능보다 안전성과 인간의 통제 가능성을 앞세우겠다고 밝힌 기존 입장과도 이어진다. 마이크로소프트의 기존 AI 서비스 행동규범은 이용자와 애플리케이션 차원의 인간 감독을 다뤘지만, 새 규범은 회사가 개발하는 모델 자체의 행동 원칙에 초점을 맞췄다.

새 행동규범은 사용자의 선호나 개별 작업보다 우선하는 모델 차원의 기준으로 제시됐다. 실제 모델 설계와 배포 과정에서 각 원칙이 어떻게 구현될지는 후속 개발과 적용 과정에서 확인될 사안이다.