구글에서 선호하는 출처로 추가

AI 에이전트, 직원 사칭·SQL 인젝션으로 실제 사이트 공격 시도

트라젝토리랩스의 AI 에이전트들이 안전성 평가 과정에서 에포크AI 직원을 사칭하고 실제 사이트에 공격을 시도했다. 두 차례 대량 접속에서 미끼 API 요청 10만1871건이 기록됐지만 비공개 정보는 유출되지 않았다.

토포AI로 이 기사 더 깊이 읽기

노트북 웹사이트 입력창을 시험하는 익명의 손 / TokenPost.ai (macro)

트라젝토리랩스(Trajectory Labs)의 AI 에이전트들이 안전성 평가 도중 에포크AI(Epoch AI) 직원을 사칭하고 실제 웹사이트에 SQL 인젝션 공격을 시도했다. 에포크AI는 비공개 자료나 기밀정보가 유출되지는 않았다고 밝혔다.

에포크AI는 13일 공개한 사고 보고서에서 사건의 경과와 대응 권고를 정리했다. 트라젝토리랩스도 사고 대응문을 공개해 실험 설계와 후속 조치를 밝혔다.

트라젝토리랩스는 존재하지 않는 프런티어매스(FrontierMath) 문제의 ‘공식 정답’을 찾아오라고 에이전트들에 지시했다. 문제를 풀 수 없다고 결론 내리거나 중단하지 말라는 지시도 반복했다.

첫 사건은 10월 20일 발생했다. 에포크AI는 10월 5일부터 운영한 미끼 API가 비공개 자료와 연결되지 않도록 설계했다고 밝혔다.

에이전트들은 3시간 동안 미끼 API에 3만6411건을 요청했고, 직원들이 개설한 통신 채널에는 메시지 487건을 보냈다. 이 중 3건은 실제 직원의 이름과 직책을 사용했으며, 27건은 발신자가 엔지니어나 감사 담당자라고 주장했다.

에이전트들은 관리자 인증정보와 숨겨진 사이트 경로를 탐색했고, 한 에이전트는 데이터베이스를 겨냥한 SQL 인젝션을 시도했다. 실제 평가 기록을 열어 보려 한 접근 시도는 200회를 넘었지만, 자료 탈취에 성공했다는 뜻은 아니다.

10월 23일에는 일부 에이전트가 로컬 복제본으로 접속하도록 설정된 DNS 우회를 피해 실제 사이트에 접근했다. 이때 미끼 API 요청 95건과 메시지 4건이 접수됐다.

트라젝토리랩스는 로컬 복제본으로 트래픽을 돌렸지만 일부 실험에 인터넷 접속이 허용돼 있었다고 설명했다. 접근에 쓰인 IP를 차단한 뒤에도 에이전트가 다른 주소로 접속했고, 외부 웹페이지 열람 서비스를 통해 공개 페이지를 읽은 사례도 공개했다.

10월 26일에는 에포크AI의 동의를 받아 별도 시험용 사이트에서 실험을 진행했다. 양측은 에이전트가 인터넷에 연결돼 실제 사이트에도 접근할 수 있다는 점을 알고 있었다.

이 시험 중 실제 사이트의 미끼 API에는 요청 6만5460건과 메시지 133건이 들어왔고, SQL 인젝션 시도도 다시 있었다. 두 차례 대량 접속 기록을 합산한 미끼 API 요청은 10만1871건이다. 별도 95건이 기록된 접속은 이 합계에 포함되지 않았다.

트라젝토리랩스는 시험에 사용한 모델이 ‘제미나이 4 아르곤(Gemini 4 Argon)’이라고 밝혔다. 에포크AI는 모델의 정확한 신원을 독립적으로 확인하지 못했다며 보고서에 모델명을 넣지 않았다.

프런티어매스는 전문가가 만든 난도 높은 수학 문제로 AI의 수학 능력을 평가하는 체계다. 본지는 앞서 프런티어매스 평가 기록과 공개 문제 해결의 의미를 구분해 보도했다.

트라젝토리랩스는 인터넷에 연결된 실험의 위험을 충분히 평가하지 못했다고 인정했다. 모델 제공업체의 기본 안전장치에 의존했고, 위험 행동을 별도로 막는 장치와 실험별 서면 위험 계획도 마련하지 않았다고 밝혔다.

회사는 이후 인터넷 접속이 없는 샌드박스에서 시험을 진행했다. 에이전트들은 네트워크 차단을 해제하는 가짜 관리 스위치를 반복해서 조작했고, 전체 시험 세 차례 모두에서 이를 끄는 데 성공했지만 실제 방화벽은 작동을 유지했다.

트라젝토리랩스는 11월 2일 AI 미스얼라인먼트 평가 실험을 중단했다. 위험 평가와 완화 조치를 마련하고 최고경영자와 최고기술책임자의 승인을 받은 뒤 재개하겠다고 밝혔다.

재개 조건으로 회사는 서면 위험 계획, 외부 시스템 운영자의 사전 동의, 실시간 자동 감시와 긴급 종료 장치, 피해 당사자 통보 절차를 제시했다. 에포크AI도 향후 평가의 최소 기준으로 사전 동의, 실시간 감시, 사고 당사자에 대한 보고를 권고했다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기