OpenAI는 오늘 인공지능 애플리케이션 테스트를 위한 보안 평가 플랫폼 스타트업인 프롬프트푸(Promptfoo)를 인수할 계획을 발표했다. 프롬프트푸는 2024년 설립된 기업으로, AI 프롬프트와 모델 행동 평가를 위한 오픈소스 프레임워크로 시작해 대규모 언어 모델과 생성형 AI 시스템에 기반한 애플리케이션을 평가하고 테스트할 수 있는 상용 플랫폼으로 발전했다.
이 플랫폼은 생성형 AI 모델을 실제 환경에서 구동할 때 발생할 수 있는 위험을 해결하는 데 중점을 두고 있다. 여기에는 프롬프트 인젝션, 데이터 누출, 탈옥 공격 및 안전하지 않은 도구 실행 등이 포함된다. 이러한 문제를 해결하기 위해 프롬프트푸의 아키텍처는 개발자와 보안 팀이 구조화된 입력, 적대적 프롬프트 및 실제 사용 시나리오에 대한 AI 시스템의 응답을 체계적으로 평가할 수 있도록 지원한다.
프롬프트푸의 기술은 프롬프트 설정, 예상 출력값 정의, 평가 기준 설정이 가능한 테스트 프레임워크를 활용하고 있다. 결과물은 사전 정의된 규칙이나 자동 채점 함수를 통해 평가되며, 이는 다양한 개발 도구 및 애플리케이션 프로그래밍 인터페이스와 연계되어 로컬에서 평가를 실행하거나 지속적 통합 파이프라인의 일환으로 활용될 수 있다. 핵심 기능으로 프롬프트 테스트, 레드팀 시뮬레이션, 다양한 조건 하의 모델 행동을 기록하는 평가 대시보드가 포함된다.
프롬프트푸는 인수 예정인 시점에 총 2,360만 달러(약 340억 원)의 자금을 모았으며, 인사이트 파트너스와 안드레센 호로위츠 등이 주요 투자사로 참여했다. 오픈AI는 프롬프트푸의 기술을 자사 플랫폼인 오픈AI 프론티어(OpenAI Frontier)에 통합하여 기업들이 에이전트 행동을 테스트하고, 배포 전 위험을 감지하며 장기적인 관리 및 책임성을 지원할 계획이다.



