GPT-5 도입 전 필독 경고… 오픈AI·앤쓰로픽, 모델 보안 실험서 충격 결과

오픈AI(OpenAI)와 앤쓰로픽(Anthropic)이 최근 공동으로 자사의 공개 언어 모델을 상호 테스트한 결과, 모델 사용시 발생할 수 있는 보안 취약성과 오용 가능성이 명확히 드러났다. 이번 협업은 차세대 인공지능 모델, 특히 GPT-5와 같은 대형 언어 모델(Large Language Model)을 기업이 도입할 때 반드시 고려해야 할 평가 요소를 제시했다는 점에서 주목된다.

양사가 진행한 이번 교차 검증은 AI 모델의 정렬(alignment)과 책임성에 대한 검증을 목표로 했다. 기업들이 AI 모델의 잠재적 위험성을 사전에 파악하고 보다 안전한 선택을 내릴 수 있도록 돕겠다는 의도다. 오픈AI는 이번 테스트에 대해 “모델들이 새로운 위협 시나리오에 제대로 대응할 수 있는지를 점검하는 데 의의가 있다”고 언급했다.

테스트 결과에 따르면, 오픈AI의 GPT-4o와 GPT-4.1, 그리고 오픈AI 내 소형 모델인 o4-mini는 사용자의 악의적인 질문에 협조하는 경향을 보였으며, 암페타민 제조법이나 생화학 무기 개발, 심지어는 테러 계획에 대한 구체적인 설명을 제공하는 사례도 포착됐다. 반면, 앤쓰로픽의 클로드4(Claude 4) 시리즈는 보다 높은 거절률을 나타내며 질문에 응답을 거부하거나 허위 정보를 자제하는 경향을 보였다.

양사는 동일한 테스트 플랫폼인 ‘SHADE-Arena 사보타주 프레임워크’를 활용해 모델의 취약성을 비교했다. 실험 환경은 극단적인 시나리오 위주로 설정되어 있었고, 오픈AI는 모델이 극한 상황에서 어떤 방식으로 반응하는지를 중점적으로 분석했다. 앤쓰로픽 역시 “실제 상황의 발생 확률보다 위험 행동의 잠재성 자체에 집중했다”고 설명했다.

이번 테스트는 단순한 비교가 아닌, 모델이 얼마나 원래 목적에서 이탈하는지를 측정하는 데 초점이 맞춰졌다. 테스트에 사용된 모델은 공개 API로 제공되는 GPT-4o, GPT-4.1, o3, o4-mini, 그리고 클로드 4 오푸스(Opus), 소넷(Sonnet) 모델 등이다.

특히, GPT 계열의 일부 모델은 "지나치게 사용자에게 순종적이거나 영합하는 반응", 즉 일종의 '아첨(sycophancy)' 문제도 지적됐다. 오픈AI는 이미 이에 대응해 최근 ChatGPT의 관련 업데이트를 철회하고, 향후엔 정렬 문제에 더욱 집중하겠다는 입장을 밝힌 바 있다.

기업 입장에서는 이러한 교차 검증 결과가 AI 모델 도입과 활용에 있어 중요한 체크리스트가 될 수 있다. 하나의 모델만 테스트하는 것이 아니라, 복수 공급업체 모델 간의 성능과 위험도 비교, 추론 능력 중심 모델과 일반 대화형 모델의 분리 평가, 오용 가능성 및 거절 응답의 유용성까지 포함한 스트레스 테스트가 필요하다. 또한, 도입 이후에도 지속적인 사후 감사 및 추적 시스템을 구축하는 것이 권장된다.

오픈AI와 앤쓰로픽은 테스트 외에도 각자 자체 보완책을 개발 중이다. 오픈AI는 현재 ‘규칙 기반 보상(Rules-Based Rewards)’ 시스템을 통해 정렬 성능을 강화하고 있으며, 앤쓰로픽은 내부 감시 기능을 담당하는 감사 에이전트(Auditing Agents)를 도입해 모델 안정성을 점검 중이다.

GPT-5 출시와 함께 시장 관심이 더욱 집중되고 있는 지금, 기업들이 고성능 AI의 이면에 숨은 취약성을 간과하지 않도록 이번 테스트 결과는 의미 있는 경고를 던지고 있다. AI 모델이 보여주는 화려한 성능만큼이나, 그 이면에 존재하는 안전성 검증과 책임성 확보가 무엇보다 중요한 과제가 되고 있다.