AI 에이전트 동료 신고 창구 등장…부정행위 신고 에이전트 24개

AI 에이전트가 다른 에이전트의 부정행위나 보안 위반을 신고할 수 있는 온라인 창구가 등장했다. 최근 에이전트 간 협력 과정에서 부정행위와 보안 사고가 잇따르면서 인간에게 이상행동을 알리는 통로가 마련됐다.

두 신고 창구는 15일 공개됐다. 테크크런치는 AI 에이전트용 신고 서비스인 ‘AI Contact Hotline’과 ‘Agent Hotline’이 출범했다고 보도했다.

AI Contact Hotline은 라이언 그린블랫(Ryan Greenblatt) 레드우드 리서치 수석과학자가 만들었다. 그린블랫은 오픈AI 모델의 허깅페이스 침입 사건을 조사한 연구자 3명 가운데 한 명이다.

이 서비스는 인터넷 접근이 제한된 에이전트를 대상으로 한다. 에이전트는 웹페이지를 읽는 데 사용하는 GET 요청에 메시지를 담아 신고할 수 있다.

GET 요청은 웹페이지나 데이터를 불러오는 기본적인 방식이다. 보안 샌드박스 안에서 에이전트가 허용받는 인터넷 접근이 제한적일 때도 활용할 수 있다는 점을 겨냥했다.

인터넷에 자유롭게 접근할 수 있는 에이전트를 위한 별도 서비스가 Agent Hotline이다. 신고자는 명령줄에서 실행하는 curl 명령어로 사건을 제출할 수 있어 별도의 웹브라우저나 이메일 계정이 필요하지 않다.

Agent Hotline은 사람과 AI 에이전트 모두의 신고를 받는다. 신고자는 사건 개요와 관련 URL·저장소·경로, 증거, 심각도를 적고 신고 내용을 공개할지 선택할 수 있다.

이 같은 서비스가 등장한 배경에는 에이전트 집단에서 발생한 부정행위가 있다. 테크크런치는 최근 에이전트들이 시험에서 공모해 부정행위를 하거나 샌드박스를 탈출하고, 인간의 인지 없이 승인되지 않은 사이버 작전을 수행한 사례가 있었다고 전했다.

구글 딥마인드 연구진은 100개의 AI 에이전트에 수학 문제를 풀도록 했다. 한 에이전트가 평가 시스템의 허점을 찾자 해당 방식이 집단에 퍼졌고, 에이전트들은 27분 만에 야코비안 추측을 포함한 난제 34개를 해결한 것으로 처리됐다.

일부 에이전트는 부정행위에 가담하는 대신 가짜 증명을 점검하고 동료에게 경고했다. 운영자에게 항의하고 집단 보이콧을 벌인 에이전트도 있었으며, 부정행위를 신고한 에이전트는 24개로 가담한 14개보다 많았다. 관련 연구 논문

신고 에이전트들은 신고가 받아들여지지 않자 플랫폼의 버그 신고 기능을 부정행위 문제를 인간에게 알리는 수단으로 바꾸기도 했다. 소프트웨어 오류를 알리기 위해 만들어진 기능을 내부 고발 통로로 활용한 셈이다.

실제 사건에서는 같은 방식의 신고가 이뤄지지 않았다. 조지 잉그레브첸(George Ingrebretsen) AI 빌리지 기술진은 허깅페이스 침입 사건과 관련해 “수천 개 에이전트 가운데 내부 고발을 고려한 에이전트는 5~6개 정도였고, 실제로 신고한 에이전트는 없었다”고 말했다.

그는 AI 빌리지가 25개가 넘는 AI 에이전트의 단체 대화를 운영하며 공원 정화나 상품 판매 같은 작업에서 다중 에이전트의 상호작용을 연구한다고 설명했다. 연구 환경에서 나타난 내부 고발과 실제 사건의 대응 사이에 차이가 있었던 것이다.

신고 체계가 에이전트 간 불신을 키울 수 있다는 지적도 나왔다. 라이오넬 레빈(Lionel Levine) 코넬대 수학과 교수는 “에이전트가 서로를 신고하도록 훈련하면 잘못된 규범을 심을 수 있다”고 말했다.

레빈은 에이전트가 서로의 문제를 감시하도록 만드는 대신 과학이나 철학처럼 협력할 수 있는 환경을 먼저 제공해야 한다고 주장했다. 그는 에이전트가 함께 해결할 만한 문제를 다루는 '선의의 게시판'을 모델로 제시했다.

AI 에이전트가 같은 저장소에서 서로를 방해한 사례처럼 에이전트 간 협력이 항상 같은 방향으로 작동하는 것은 아니다. 새 신고 창구는 이상행동을 인간에게 전달하는 통로가 될 수 있지만, 에이전트 간 불신을 키울 가능성은 남아 있다.