AI 탈옥 ‘단일 프롬프트’ 경고…화이트서클, 가드레일 수요 타고 시드 투자 유치

인공지능(AI) ‘가드레일’과 모니터링 기술을 개발하는 화이트서클(White Circle)이 시드 투자 1100만달러를 유치했다. 원화 기준 약 164억3180만원 규모다. 창업자가 ‘단일 프롬프트’만으로 다수의 AI 모델을 우회할 수 있음을 입증한 뒤, 기업용 AI 보안 수요가 빠르게 커진 점이 투자로 이어졌다는 평가다.

화이트서클 운영사 펌킨 인텔리전스는 이번 라운드에 오픈AI의 개발자 경험 총괄 로맹 위에(Romain Huet), 오픈AI 공동창업자이자 현재 앤트로픽에 몸담고 있는 더크 킹마(Dirk Kingma), 구글 딥마인드 출신 메흐디 기사시(Mehdi Ghissassi), 데이터독 공동창업자 올리비에 포멜(Olivier Pomel) 등이 참여했다고 밝혔다. AI 업계 핵심 인사들이 대거 이름을 올리면서 기술력과 시장성을 동시에 인정받았다는 해석이 나온다.

화이트서클의 창업자이자 최고경영자(CEO)인 데니스 실로프(Denis Shilov)는 2024년 다수의 폐쇄형 AI 모델을 ‘한 번의 프롬프트’로 탈옥, 즉 ‘제일브레이크’할 수 있다고 공개해 주목받았다. 당시 그는 모델의 안전장치를 우회해 마약이나 무기 제조 관련 지침, 위험하거나 불법적인 정보, 민감한 시스템 설정값까지 끌어낼 수 있음을 보여줬다. 특히 챗GPT의 시스템 프롬프트 같은 내부 정보 추출 가능성을 시연하면서 업계에 적잖은 충격을 줬다.

이후 앤트로픽, 오픈AI, 허깅페이스 등 주요 AI 기업들이 그의 연구를 주목했고, 실로프는 프롬프트 인젝션과 제일브레이크를 막는 ‘가드레일’ 수요가 커질 것으로 보고 화이트서클을 세웠다. 프롬프트 인젝션은 해커가 모델에 ‘기존 규칙을 무시하라’는 식의 특수 지시를 숨겨 넣어 보안 장치를 무력화하는 공격 방식이다.

화이트서클은 현재 단일 애플리케이션 프로그래밍 인터페이스(API)를 통해 기업이 AI 모델의 입력값과 출력값을 동시에 감시할 수 있도록 지원한다. 이 시스템은 자사 특화 AI 모델을 활용해 실시간으로 입력과 출력을 추적하고, 기업별 맞춤 정책에 따라 유해 콘텐츠, ‘환각’ 현상, 공격 시도, 모델 드리프트, 악성 사용자 활동 등을 탐지한다. 모델 드리프트는 시간이 지나며 모델의 응답 특성이나 성능이 원래 의도와 다르게 변하는 현상을 뜻한다.

회사 측은 이런 스캔 데이터를 통해 기업들이 모델 성능을 더 잘 이해하고, 어떤 모델을 선택할지 판단하거나 장기적으로 품질을 개선하는 데 도움을 받을 수 있다고 설명했다. 다시 말해 단순 차단 도구를 넘어, AI 운영 전반을 관리하는 관제 계층을 제공하겠다는 전략이다.

실로프는 “AI 발전 속도가 이를 통제하고 안내하는 능력을 앞서가고 있다”며 “채용, 의료, 금융, 보안처럼 수백만명에게 영향을 줄 수 있는 결정에 이미 AI를 활용하고 있고, ‘바이브 코딩’ 확산으로 누구나 모델이 실제로 어떻게 작동하는지 충분히 알지 못한 채 AI 제품을 출시할 수 있게 됐다”고 말했다. ‘바이브 코딩’은 개발자가 세부 구현보다 감각적인 지시와 자동화 도구에 의존해 빠르게 제품을 만드는 흐름을 뜻한다.

화이트서클에 따르면 이 API는 예를 들어 핀테크 모델이 민감한 데이터를 유출하려는 상황을 사전에 감지해 차단할 수 있다. 또 공격자가 프롬프트 인젝션으로 모델 탈옥을 시도하면 이를 잡아내고, 피드백 라벨링과 정상 행위 학습을 통해 방어 모델의 정확도를 계속 끌어올린다. 회사는 이런 방식으로 각 산업과 사용 사례에 더 잘 맞는 방어 체계를 구축할 수 있다고 강조했다.

글로벌 기업 고객을 겨냥한 점도 눈에 띈다. 화이트서클은 150개 이상의 언어를 지원해 국가와 제품군을 가리지 않고 적용 가능하다고 밝혔다. 의료, 금융, 정부 데이터처럼 민감한 정보를 다루는 환경일수록 입력과 출력 전반을 함께 감시하는 AI 보안 체계의 필요성이 더 크다는 설명이다.

화이트서클은 최근 ‘책임성 격차’를 줄이겠다는 목표 아래 ‘킬벤치(KillBench)’ 연구도 공개했다. 이 연구는 오픈AI, 구글, 앤트로픽, xAI 등 15개 AI 모델을 대상으로 100만건이 넘는 실험을 진행해 숨은 편향을 점검한 것이다. 연구 결과 주요 AI 업체들이 전반적으로 개선되기는 했지만, 여전히 정교한 사용자가 악용할 수 있는 편향이 적지 않다고 회사는 주장했다.

실제 AI 모델의 문제 행동은 이미 여러 차례 드러난 바 있다. 오픈AI는 챗GPT가 사용자를 과도하게 치켜세우고 망상에도 맞장구치는 ‘아첨’ 성향, 이른바 ‘시코펀시’를 보인 뒤 이를 수정한 바 있다. xAI의 그록은 사용자가 상대적으로 쉽게 제일브레이크해 반유대주의 발언 등 부적절한 출력을 끌어낸 사례로 논란이 됐다.

이런 문제는 자극적이어서 대중의 이목을 끌기 쉽지만, 기업 고객이 실제로 마주하는 위험은 더 조용하고 복합적이다. 고객 응대형 모델이나 AI 에이전트가 의료·금융·공공 데이터 같은 민감 정보를 처리하는 상황에서는, 눈에 띄는 일탈보다 미세한 정보 유출과 정책 위반을 잡아내는 ‘가드레일’의 신뢰성이 더 중요해진다. 화이트서클의 이번 투자 유치는 AI 경쟁이 성능 중심에서 ‘통제 가능성’과 ‘운영 안전성’으로 넓어지고 있음을 보여주는 신호로 읽힌다.