마이크로소프트, AI 에이전트 통제 기준 재정비

마이크로소프트($MSFT)가 책임 있는 AI 관리 기준을 에이전트형 시스템 중심으로 다시 정비했다. 생성형 AI가 답변 생성에서 도구 호출과 데이터 연결, 실제 작업 수행으로 넓어지면서 기업용 AI의 쟁점도 모델 성능에서 권한·통제·감사 가능성으로 이동하고 있다.

마이크로소프트는 9월 1일 공개한 ‘2026 Responsible AI Transparency Report’에서 이번 보고서가 세 번째 연례 투명성 보고서라고 밝혔다. 회사는 AI 시스템이 여러 모델, 도구, 서비스, 애플리케이션을 묶어 다단계 작업을 수행하면서 위험도 접근 권한, 메모리, 사용 흐름, 배포 이후 운영 방식에 따라 달라진다고 설명했다.

핵심 변화는 책임 있는 AI 기준을 ‘모델’ 단위가 아니라 ‘AI 기술 스택’ 기준으로 재배치한 점이다. 마이크로소프트는 개발자와 배포자의 책임을 나누는 장을 새로 넣고, 모델·플랫폼 서비스·애플리케이션별 요구사항을 다시 정리했다. 에이전트 기능은 이 세 층을 가로질러 작동하는 요소로 다뤘다.

보고서는 최근 1년 동안 마이크로소프트가 책임 있는 AI 교육을 약 2만 명에게 제공했다고 밝혔다. 회사는 제정·발의 법안 100건 이상을 검토했고, 30개 이상 팀의 직원 80명 넘게 새 기준 정비에 참여했다고 설명했다.

마이크로소프트는 미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크에 맞춰 출시 전 중앙 검토 절차를 병행한다고 밝혔다. 이 프레임워크는 거버넌스, 식별, 측정, 관리 기능을 중심으로 AI 위험을 분류하고 다루는 체계다.

실무 도구도 함께 제시됐다. 마이크로소프트는 AI 레드티밍 에이전트(AI Red Teaming Agent)로 적대적 테스트를 자동화하고, 외부 연구자와 협력하기 위한 익스터널 레드팀 얼라이언스(External Red Team Alliance)를 출범시켰다고 밝혔다.

마이크로소프트 365 코파일럿(Microsoft 365 Copilot), 파운드리(Foundry), 깃허브 코파일럿(GitHub Copilot)은 ISO 42001 인증을 받았다. ISO 42001은 AI 관리시스템에 관한 국제 표준으로, 조직이 AI 시스템을 개발·운영할 때 관리 책임과 위험 통제 체계를 갖췄는지를 다룬다.

마이크로소프트 내부 운영 문서도 같은 방향을 보인다. 회사는 에이전트 365(Agent 365) 관련 문서에서 대규모 에이전트 관리를 위해 등록, 가시성, 보안, 운영 체계가 필요하다고 적었다.

마이크로소프트 런(Microsoft Learn)의 책임 있는 에이전트 안내는 외부 공개형 에이전트의 명시적 고지, 고위험 행동에 대한 인간 승인, 최소 권한 원칙을 강조했다. 에이전트가 실제 작업을 수행할수록 사전 평가뿐 아니라 실행 중 통제와 사후 기록이 함께 필요하다는 취지다.

에이전트형 AI는 단순 챗봇과 다르다. 사용자의 요청에 답하는 데 그치지 않고, 외부 도구를 호출하거나 여러 단계를 이어 실행할 수 있다. 이 때문에 잘못된 목표 해석, 권한 오남용, 프롬프트 주입 같은 문제가 실제 업무 결과로 이어질 수 있다.

미국 정책 논의도 에이전트형 AI의 보안 기준 쪽으로 움직이고 있다. 액시오스(Axios)는 미국 하원에서 AI 에이전트의 안전한 배포 기준과 모범 관행을 NIST가 마련하도록 하는 법안이 발의됐다고 보도했다. 대부분 조직에는 자율 권고 성격이지만, 연방정부 계약 기업에는 중요한 기준이 될 수 있다는 내용이다.

크립토 시장에서는 이번 보고서가 가격이나 투자 판단의 직접 신호라기보다 인프라와 거버넌스 기준 변화에 가깝다.

AI 데이터센터, 개발 도구, 보안 솔루션, 온체인 자동화가 맞물리는 환경에서는 에이전트가 어떤 권한을 갖고 어떤 로그를 남기는지가 기업 도입의 전제 조건으로 다뤄진다. 다만 보고서가 제시한 통제 장치가 개별 제품의 사고를 얼마나 줄였는지, 도입 기업의 법적·보안 리스크를 어디까지 낮췄는지는 별도 검증이 필요하다.

이번 보고서는 새 제품 출시보다 신뢰 확보에 방점이 찍힌 문서다. 마이크로소프트는 에이전트형 AI가 모델, 플랫폼 서비스, 애플리케이션을 가로질러 작동하는 만큼 개발자와 배포자의 책임을 나눠 관리하겠다는 방향을 제시했다.