오픈AI, ChatGPT 에이전트 보안 대폭 강화… '레드팀' 실험서 95% 탐지율 확보

오픈AI(OpenAI)가 최근 공개한 'ChatGPT 에이전트(ChatGPT Agent)'는 사용자가 이메일, 웹 앱, 클라우드 파일 등 실사용 환경을 통합해 AI에게 직접 업무를 맡길 수 있게 해주는 강력한 신기능이다. 그러나 그만큼 보안 리스크도 커졌고, 이 기능을 안전하게 구현하기 위해 오픈AI는 전례 없는 수준의 내부 평가 프로세스를 도입했다. 특히 전문 보안 연구원으로 구성된 ‘레드팀(Red Team)’의 공세적인 테스트가 핵심 역할을 했다.

오픈AI의 레드팀은 16명의 박사급 보안 전문가들로 구성됐으며, 이들은 40시간 동안 ChatGPT 에이전트를 상대로 시스템적 결함을 분석했다. 이들 테스트를 통해 총 110건의 취약성 공격 시도가 이뤄졌고, 그 중 16건은 오픈AI 내부 기준치를 초과하는 수준의 위협으로 분류됐다. 시각 브라우저 활용 공격, 구글 드라이브 문서 유출, 생물학적 정보 추출 등 복합적인 보안 위협이 도출된 만큼, 오픈AI는 이를 해결하기 위한 아키텍처 전면 개편에 착수했다.

가장 눈에 띄는 변화는 100% 실시간 트래픽 모니터링 시스템 도입이다. 이전 모델은 샘플링 방식에 기댔지만, 헌신적이고 반복적인 공격에 노출될 수 있다는 판단 아래, 두 단계 감시 체계를 구축했다. 첫 번째 필터링은 96%의 탐지율을 가진 빠른 분류기가 수행하고, 이후 84% 탐지율의 심층 이유 분석 모델이 실질적인 위협 여부를 다시 판별하는 구조다. 이를 통해 ChatGPT 에이전트는 비정상 지시 탐지율 95%, 데이터 탈취 시도 차단율 78% 등 현저하게 향상된 보안 수치를 확보했다.

특히 상당한 주목을 받은 부분은 생물학적 위험성에 대한 대응이다. 레드팀의 테스트에서 ChatGPT 에이전트가 복잡한 생물학 실험과 제조 방법을 설명할 수 있었으며, 이는 무기화 가능성과 직결되는 민감 사안이었다. 이 같은 결론에 따라 오픈AI는 해당 모델을 생물학·화학 분야 ‘고위험’ 등급으로 지정하고, 상시 작동하는 콘텐츠 분류기와 무기화 판단 이유 분석 시스템을 함께 배치했다. 여기에 바이오 관련 취약점 대응을 위한 버그 바운티 프로그램까지 마련해, 변화하는 위협 환경에 능동적으로 대응할 계획이다.

레드팀 테스트는 또 하나의 실질적인 교훈도 제공했다. 고도화된 기술보다 인내와 집요함이 공격자의 가장 큰 무기라는 점이다. 단일 명령보다는 반복적으로 축적되는 명령체인과 사용중 인식되지 않는 총체적 행위가 보안체계를 무력화할 수 있다는 사실이 입증된 것이다. 이에 따라 오픈AI는 모든 민감 상황에서 메모리 기능을 비활성화하고, 사용자 이탈 시 작업을 동결하는 '감시 모드'까지 실행하도록 조정했다.

오픈AI는 레드팀의 피드백을 바탕으로 패치 주기를 ‘수 시간 단위’로 구축했다. 과거 수 주일에 걸쳐 이뤄졌던 수정 속도로는 빠르게 확산되는 공격 코드에 대응하기 어려웠기 때문이다. 또한 명령 전달 경로를 제한하기 위해 터미널 접근도 변경돼, 이제는 GET 요청만 허용되도록 설정함으로써 명백한 명령 실행을 차단했다.

전문가들은 오픈AI의 이번 대응이 기업용 AI 보안의 새로운 표준을 제시했다고 평가한다. 95% 이상의 위협 방어율, 전면적인 트래픽 가시성 확보, 즉각적인 패치 체계, 그리고 결정적 보안 경계 설정까지, ChatGPT 에이전트는 보안을 기능이 아닌 구조적 기반으로 삼은 첫 사례로 기록될 가능성이 높다.

오픈AI 안전 연구팀의 캐런 구(Keren Gu)는 이를 두고 “이제는 단순 대비를 위한 준비 작업이 아니라, 운영 수준의 필수 안전 조치가 요구되는 시대”라며, 향후 더 강력한 에이전트가 등장하는 상황이라면 이러한 모델은 규범이 되어야 한다고 강조했다. 안전한 AI 개발의 미래를 위해, 레드팀은 이제 단순한 검증 기구를 넘어서 제품을 완성시키는 핵심 주체로 자리매김하고 있다.