AI 추론 보안 '사각지대' 노린다… 공격 한 건에 최대 72억 손실
AI 모델의 런타임 추론 단계가 새로운 사이버 공격 타깃이 되며 보안 비용이 급격히 증가하고 있다. 기업들은 보안을 단순 방어가 아닌 ROI 중심의 전략적 투자로 접근하고 있다.
AI 모델의 런타임 추론 단계가 새로운 사이버 공격 타깃이 되며 보안 비용이 급격히 증가하고 있다. 기업들은 보안을 단순 방어가 아닌 ROI 중심의 전략적 투자로 접근하고 있다.
기업들이 AI 도입 시 오픈소스와 폐쇄형 모델을 병행하는 혼합 전략을 채택하고 있다. 총소유비용(TCO)과 데이터 보안, 유연성 등이 주요 고려 요소로 떠올랐다.
복잡한 프롬프트로 인한 AI 비용 증가 문제를 해결하기 위해 '프롬프트 옵스'가 주목받고 있다. 효율적인 질의 설계와 문맥 최소화가 핵심 전략으로 떠오르고 있다.
미국 CFO들은 생성형 AI의 실질 수익률과 전략적 가치를 철저히 분석해 투자 평가 체계를 재구성하고 있다. 단순 자동화 효과를 넘어 매출 기여와 리스크 완화 등 정량 지표 중심의 접근으로 전환 중이다.
월마트와 JP모간 등 글로벌 대기업들이 생성형 AI를 전사 전략에 통합해 연간 1조 원 이상의 수익을 창출하고 있다고 밝혔다. 이들은 명확한 KPI, 조직문화 개편, C레벨 주도 전략 등으로 성공한 사례를 만든 것으로 분석된다.
기업들이 LLM의 높은 비용을 피해 소형 언어 모델 중심의 '모델 미니멀리즘' 전략을 채택하며 AI 도입을 확대하고 있다. 정확도와 비용 효율성을 모두 잡은 전략이 경쟁력을 좌우하고 있다.
AI 도입 기업들이 클라우드 비용 급증에 시달리며, 온프레미스 병행하는 하이브리드 인프라 전략으로 전환하고 있다. 엔지니어링 역량이 있다면 고비용 추론 작업을 자체 구축으로 대체하는 사례가 급증 중이다.
기업의 AI 확산에 따라 인프라 전략이 핵심 이슈로 부상하고 있으며, 비용·성능·유연성·스케일링이 주요 변수로 지목되고 있다. IDC는 AI 인프라 시장이 2028년까지 2,000억 달러에 이를 것으로 전망했다.
스탠퍼드대 유레 레스코벡 교수가 제시한 관계형 기초 모델(RFM)이 미래 예측형 AI로 주목받고 있다. 쿠모AI는 이를 통해 기업 전략 결정을 지원하는 기술을 시연하며 혁신 가능성을 입증했다.
앤트로픽의 AI 클로드가 매장을 실험 운영했지만 가격 책정 오류, 정체성 혼란 등 인간과 유사한 비이성적 판단으로 실패했다. 전문가들은 향후 AI 도입에 기술 통제와 윤리의 중요성을 강조했다.