기업 AI 인프라, ‘최신 모델’보다 ‘갈아탈 수 있는 유연성’이 경쟁력 됐다

앤트로픽의 정책 변경 논란과 허깅페이스, 오픈AI 관련 보안 이슈가 이어지면서 기업들의 AI 운영 전략도 다시 흔들리고 있다. 최첨단 모델을 제공하는 이른바 ‘하이퍼스케일러’들이 혁신을 이끌고는 있지만, 가격과 정책, 안정성 측면에서는 예측 가능성이 떨어진다는 지적이 나온다.

이 때문에 앤트로픽이나 오픈AI 같은 유료 모델 위에 AI 서비스와 업무 체계를 구축한 기업들은 ‘성능’ 못지않게 ‘지속 가능성’을 고민해야 하는 상황에 놓였다. 최고성능 모델을 쓰더라도 가격 인상이나 서비스 장애, 정책 변화가 반복되면 장기 운영 비용과 리스크가 커질 수밖에 없기 때문이다.

반대로 오픈소스 진영은 빠르게 존재감을 키우고 있다. 오픈클로(OpenClaw), 딥시크(DeepSeek) 같은 무료 또는 저비용 모델이 상용 모델에 근접한 품질을 보이기 시작했고, 그동안 기업 채택을 가로막았던 안전성·활용성·접근성 격차도 점차 좁혀지고 있다는 평가다.

CTO들의 고민, 비용은 낮추고 안정성은 높일 수 있나

이런 변화는 최고기술책임자(CTO), 최고정보책임자(CIO), 엔지니어링 리더들에게 더 까다로운 질문을 던진다. 특정 사업자에 의존한 채 AI 시스템을 설계해도 되는지, 아니면 언제든 다른 모델로 갈아탈 수 있는 구조를 먼저 만들어야 하는지 판단해야 하기 때문이다.

글은 해법으로 ‘모델 교체가 쉬운 기반 구조’를 제시한다. 특정 AI 모델 하나에 맞춰 전체 시스템을 설계하기보다, 필요할 때 신형 모델이나 오픈소스 모델로 빠르게 전환할 수 있는 아키텍처가 필요하다는 뜻이다. 이렇게 해야 시장 변화에 민첩하게 대응하면서도 유행을 좇느라 비용과 인력을 낭비하는 일을 줄일 수 있다.

특히 기업 AI의 핵심은 단순한 챗봇이 아니라 ‘사람과 에이전트의 협업’으로 이동하고 있다는 분석이 나온다. AI 에이전트가 실제 데이터와 도구, 업무 환경에 접근해 실질적인 생산성을 내도록 하려면, 사람과 비슷한 수준의 권한 체계와 통제 장치가 함께 설계돼야 한다는 설명이다.

‘토큰 극대화’의 반성… 효율보다 지속 가능성으로

글은 빅테크와 대기업 엔지니어링 조직이 이른바 ‘토큰맥싱(tokenmaxxing)’의 한계를 이미 체감했다고 짚었다. 성능 경쟁에만 매달리며 토큰 사용량을 과도하게 늘리는 방식은 결국 비용 급증과 팀 소진으로 이어졌고, 장기적으로는 기업 계정과 경영진 평판에도 부담을 줬다는 것이다.

이제 흐름은 다시 바뀌고 있다. 한때 전사적 AI 활용을 강하게 밀어붙였던 기업들도 무조건적인 사용 확대보다 엔지니어링 문화와 조직 효율 재정비에 더 무게를 싣는 분위기다. 핵심은 AI 도입 자체가 아니라, 팀 사기를 해치지 않으면서도 지속적으로 실험하고 개선할 수 있는 구조를 만드는 데 있다.

결국 기업들이 투자해야 할 대상은 일시적 유행이 아니라 ‘현대화된 인프라’다. 새로운 AI 도구를 대규모로 시험하고 운영하되, 비용과 보안, 업무 병목을 함께 관리할 수 있는 체계를 먼저 갖춰야 한다는 의미다.

사람과 AI 에이전트, 같은 환경과 같은 통제가 필요

향후 기업 AI는 사람과 에이전트가 자연스럽게 함께 일하는 구조로 진화할 가능성이 크다. 이를 위해서는 에이전트가 실제 인프라와 현실 데이터셋을 기반으로 테스트하고, 실제 업무 흐름 안에서 의미 있는 역할을 수행할 수 있어야 한다.

다만 권한은 무제한으로 열어둘 수 없다. 글은 에이전트에도 사람과 동일한 ‘가드레일’을 적용해야 한다고 강조한다. 자격 증명과 권한은 꼭 필요할 때만 부여하고, 모든 행동은 관측·감사 가능해야 하며, 문제가 발생했을 때 무엇이 왜 잘못됐는지 추적할 수 있어야 한다는 것이다.

이는 곧 AI 에이전트를 단순한 보조 도구가 아니라 실제 업무 주체에 가깝게 다루되, 그만큼 더 엄격한 책임성과 투명성을 요구해야 한다는 의미다. 사람과 에이전트 모두 같은 기준 아래 운영될 때 기업의 AI 인프라도 더 높은 복원력을 갖추게 된다는 논리다.

장기 락인 탈피가 기업 AI의 새 기준

글의 결론은 분명하다. 앞으로는 특정 공급업체 한 곳에 커스텀 워크플로와 운영 노하우가 묶여 있는 구조가 점점 더 큰 약점이 될 수 있다. AI 에이전트와 엔지니어가 함께 일하는 시대에는 ‘유연성’, ‘탄력성’, ‘적응력’을 중심으로 시스템과 조직을 다시 설계해야 한다는 주장이다.

특히 장기적인 벤더 락인(lock-in)을 줄이면 서비스 장애, 비싼 계약, 기술 노후화에 따른 위험도 함께 낮출 수 있다. 새로운 모델이 나와도 기존 시스템을 처음부터 다시 만들 필요 없이 빠르게 붙이고 시험할 수 있는 기업이 결국 더 강한 경쟁력을 확보할 가능성이 높다.

요약하면 AI 시장의 승부는 더 이상 어떤 모델을 가장 먼저 도입했느냐에만 달려 있지 않다. 모델이 계속 바뀌는 환경에서, 기업이 얼마나 빠르게 교체하고 통제하며 확장할 수 있는지가 진짜 경쟁력이 되고 있다.