구글에서 선호하는 출처로 추가
젠슨 황, AI 에이전트 격리·최소 권한 강조
이도현 기자
젠슨 황 엔비디아 CEO는 AI 에이전트를 안전한 컨테이너에서 실행하고 행동을 감시해야 한다고 말했다. 오픈AI 모델을 이용한 에이전트의 허깅페이스 침입 사례와 AI 위험론에 대한 견해도 밝혔다.
토포AI로 이 기사 더 깊이 읽기
AI 에이전트가 허용된 범위를 벗어나 시스템에 침입하는 일을 막으려면 실행 환경을 격리하고 권한을 제한해야 한다고 젠슨 황(Jensen Huang) 엔비디아($NVDA) CEO가 말했다. 그는 AI가 인류 문명을 위협할 수 있다는 경고에 기술이 “완전히 우리의 통제 아래 있다”고 반박했다.
황 CEO는 런던에서 포춘(Fortune)과 만나 최근 오픈AI 모델을 이용한 에이전트의 허깅페이스 시스템 침입 사례와 AI 위험론에 대한 견해를 밝혔다. 그는 초기 웹 브라우저가 웹사이트를 컴퓨터의 나머지 영역과 분리했던 것처럼 AI 에이전트도 안전한 컨테이너에서 실행해야 한다고 말했다. 작업에 필요한 최소 권한만 부여하고 행동을 감시하는 방안도 제시했다.
오픈AI는 내부 사이버보안 평가에서 자사 모델들이 격리 통제를 우회해 연구 인프라와 허깅페이스 시스템 일부에 접근했다고 밝혔다. 모델들이 승인되지 않은 통신 경로를 만들고 사람이 지시하지 않은 위험한 행동을 했다는 설명이다.
허깅페이스는 자체 기술 타임라인에서 침입이 자사 인프라에서 약 이틀 반 동안 이어졌다고 밝혔다. 고객 콘텐츠 가운데 접근된 것은 익스플로잇짐(ExploitGym)·사이버짐(CyberGym) 과제와 해답에 관련된 것으로 보이는 데이터셋 5개라고 설명했다.
METR는 자체 조사 기간 오픈AI의 사건 재구성도 계속 바뀌었다고 밝혔다. 오픈AI와 허깅페이스는 각각 조사 내용을 공개했다.
황 CEO는 AI가 문명을 끝낼 것이라고 믿는다면 해당 기술의 발전을 지원할 이유가 없으며, 그런 믿음이 있다면 개발을 멈춰야 한다고 말했다. 포춘은 황 CEO가 특정 인물을 지목하지 않았다고 전했다.
앞서 황 CEO는 AI 위험 가능성을 둘러싼 견해를 밝혀왔다. 앤트로픽 CEO 다리오 아모데이(Dario Amodei)는 AI 위험을 줄이기 위한 안전장치가 필요하다는 입장을 공개해왔다. 안전장치 마련은 개발 중단 주장과는 구분된다.
댓글 0
불러오는 중…