기업들이 AI 시스템의 신뢰성과 정확성을 높이기 위해 '컨텍스트 엔지니어링(context engineering)'을 핵심 전략으로 삼기 시작하면서, 해당 기술이 AI 시대의 새로운 필수 요소로 부상하고 있다. AWS 리인벤트 2025 행사에서 엘라스틱(Elastic) 최고제품책임자(CPO) 켄 엑스너(Ken Exner)는 대규모 언어 모델(LLM)이 신뢰할 수 있는 결과를 내기 위해서는 '적시에, 적절한 데이터로, 올바른 범위 내에서' 작동하도록 설계돼야 한다고 강조했다.

엑스너는 "이제 많은 기업들이 에이전틱(agentic) AI를 구현하면서 단순한 프롬프트 엔지니어링의 한계를 직면하고 있다"며 "AI 애플리케이션을 성공적으로 구축하기 위해서는 LLM에 올바른 컨텍스트를 지속적으로 공급하는 작업이 핵심"이라고 말했다. 그는 이를 '컨텍스트 엔지니어링'이라 칭하며, 앞으로 AI 개발의 중심 개념으로 자리잡을 것이라고 내다봤다.

AI 모델이 스스로 판단하고 행동하는 자율성이 높아지는 만큼, 엑스너는 컨텍스트 누락 시 발생할 수 있는 오답이나 불확실성을 경계해야 한다고 지적했다. 이를 방지하기 위해 리트리벌, 툴 기반 추론 기술, 기억 시스템 등 다양한 보완 기법들이 도입되고 있다. 그는 "LLM은 본질적으로 다음 단어를 예측하는 시스템이고, 적절한 데이터 범위 내에서 이 과정을 진행해야 보다 일관되고 신뢰할 수 있는 결과를 얻을 수 있다"고 설명했다.

엘라스틱은 이러한 기술적 과제를 해결하기 위한 솔루션으로 ‘엘라스틱 에이전트 빌더(Elastic Agent Builder)’를 개발했다. 해당 툴은 사용자 맞춤형 프롬프트와 데이터 인덱싱 기능을 조합해 정교한 에이전틱 애플리케이션 구축을 지원하며, 기초 대화형 에이전트를 기본 제공해 사용자들이 손쉽게 자신만의 AI 에이전트를 만들 수 있도록 돕는다.

컨텍스트 엔지니어링의 성공 여부를 평가하는 기준도 정립되는 중이다. 이 과정에서 '평가(evaluation)'와 '관측 가능성(observability)'은 중요한 역할을 한다. 엑스너는 "이제는 에이전트마저 핵심 시스템처럼 다루며, 성능 검증과 품질 테스트를 강화해야 한다"며 "이러한 검증은 유닛 테스트처럼 작동하며, LLM을 판사처럼 활용한 통합 테스트도 병행돼야 한다"고 말했다.

AI 시스템의 신뢰성과 지속 가능성을 확보하려는 기업들 사이에서 컨텍스트 엔지니어링은 단순한 유행어를 넘어 실질적인 기술 기반 전략으로 확산되고 있다. 엑스너는 이번 행사를 통해 “앞으로 1년 내 컨텍스트 엔지니어링이라는 용어를 훨씬 자주 듣게 될 것”이라며, 해당 분야가 AI의 다음 단계로 나아가는 데 결정적인 역할을 하게 될 것이라고 전망했다.