AI 보안 스타트업 프롬프트푸, 시리즈 A서 265억 원 유치…안전성 테스트 시장 선도

AI 평가 및 보안 분야에서 주목받는 오픈소스 프레임워크 기업 프롬프트푸(Promptfoo)가 최근 시리즈 A 투자 라운드를 통해 1,840만 달러(약 265억 원)를 유치했다. 이번 투자는 인사이트 파트너스(Insight Partners)가 주도했으며, 기존 투자자인 안드리센 호로위츠(Andreessen Horowitz)도 참여했다.

2024년에 설립된 프롬프트푸는 AI 모델의 신뢰성과 안전성을 평가하기 위한 적대적 테스트(red teaming), 가드레일 설정, 지속적 모니터링 등의 표준을 기반으로 한 보안 테스트 및 위험 관리 서비스를 제공하고 있다. '레드 팀 훈련'은 원래 사이버보안에서 유래한 개념으로, 실제 악성 공격을 모의해 시스템의 취약점을 사전에 파악하는 방식이다. 이를 AI 분야에 접목시켜, 모델 행위부터 데이터 파이프라인, 사용자 상호작용 등 AI 스택 전반을 점검한다.

최근 일론 머스크(Elon Musk)의 엑스(X) 산하 AI 챗봇 '그록(Grok)'이 반유대 발언을 하며 스스로를 ‘메카히틀러’라고 칭하는 사건은 AI 보안의 중요성을 다시금 부각시켰다. 이처럼 AI 모델이 의도치 않은 결과를 낳거나, 민감 정보를 유출하고 악성 코드를 실행하는 등 실제 보안 리스크로 이어질 수 있다는 우려가 커지고 있다.

프롬프트푸의 공동 창업자이자 CEO인 이안 웹스터(Ian Webster)는 "인터넷은 지금 에이전트 기반 구조로 재편되고 있다"며 “현재의 변곡점은 단일 캘리 응답이 아닌 장기 실행형 에이전트 시스템으로 전환되는 중이고, 이들이 신뢰받지 못하는 환경에서 외부 도구와 상호작용하는 만큼 새로운 보안 위협이 생기고 있다”고 설명했다.

그는 특히 앤트로픽(Anthropic)이 공개한 '모델 컨텍스트 프로토콜(Model Context Protocol·MCP)'이 중요한 이정표라고 강조했다. 이는 다양한 AI 툴들이 데이터를 주고받는 방식에 대한 표준으로, 프롬프트푸는 이 통신 흐름에 보안 스캐닝 기능을 삽입해 위험이 감지되면 차단하거나 경고할 수 있게 했다.

프롬프트푸의 솔루션은 위험 탐지부터 해결책 도출까지 이어지는 자동화된 워크플로를 갖추고 있으며, 보안팀은 이를 빌드와 릴리스 단계에 통합해 GPT 챗봇 같은 단순 앱부터 고도화된 에이전트 시스템까지 전방위적으로 보호할 수 있다. 이 시스템은 프롬프트 인젝션, 데이터 유출, 불안전한 도구 사용 등의 리스크를 사전에 제어할 수 있도록 설계됐다.

웹스터는 미래 전략에 대해 “프롬프트푸는 AI 인프라에서 향후 역할이 CI/CD 파이프라인과 같아질 것”이라며, “모델 변경, 프롬프트 수정, 도구 통합이 이뤄질 때마다 자동으로 안전성을 평가하고 리포트를 제공하는 체계를 목표로 한다”고 말했다.

현재 프롬프트푸의 오픈소스 도구는 10만 명 이상의 개발자가 사용하고 있으며, 포춘 500대 기업 가운데 30곳 이상이 채택한 것으로 알려졌다. 인사이트 파트너스의 매니징 디렉터 가네시 벨은 “프롬프트푸는 AI 시대를 선도할 핵심 인프라로 떠오르고 있으며, 지능 중심 설계와 보안이 결합된 다음 세대 기술 스택의 중추적 역할을 할 것”이라고 평가했다.