Mend.io가 오늘 대규모 언어 모델의 숨겨진 명령어를 분석하여 보안 취약점을 개선하기 위한 시스템 프롬프트 하드닝 기능을 선보였습니다. 이 기술은 AI 모델이 활동을 시작하기 전에 조건, 역할, 행동 방식을 정의하는 기본 지침 세트를 검토하여 보안 논리를 강화합니다. Mend의 관리자 Rami Sass는 "프롬프트는 AI 애플리케이션의 행동 설계도이지만, 보안 표준은 그 중요성을 따라가지 못하고 있다"고 강조했습니다.
가트너에 따르면, 최근 한 해 동안 AI 애플리케이션에 대한 공격의 32%가 애플리케이션 프롬프트를 이용한 것으로 집계되었습니다. 프롬프트 주입은 프로그램의 원래 코드보다 우선하여 AI가 기본 지침을 공개하도록 유도하는 데 흔히 악용됩니다. 새로운 기능은 LLM의 응답을 표준화된 방식으로 테스트하여 보안 팀이 우연한 테스트나 수동 검사를 넘어설 수 있도록 지원합니다.
Mend.io는 이 시스템을 통해 보안을 관리하는 프레임워크 안에서 취약점을 표준화하고 분류하여 세부 내용을 개선하는 것을 목표로 하고 있습니다. 이 새로운 기능은 Mend AI Core 및 AI Premium 플랫폼에서 사용 가능하며, 기업들이 AI 구성 요소를 분석, 위험 평가 및 정책 준수와 보안 강화를 수행할 수 있도록 돕습니다.





