[메타콘 2026] AI 도입보다 운영…LG CNS·KT·업스테이지가 말한 기업 AX 성공 공식

기업들의 AI 전환은 어디까지 왔고, 앞으로 무엇을 준비해야 할까.

3일 서울 코엑스에서 열린 '메타콘 2026'에서는 '대한민국 대표 AX 컨설팅 기업들이 직접 공개하는 AX 전략의 현재' 세션이 진행됐다.

패널 토론은 한연선 더밀크 리서치센터장이 좌장을 맡아 진행했다. 진요한 LG CNS AI센터장과 이진형 KT 본부장, 최홍준 업스테이지 부사장이 패널로 참여했다.

먼저 각 기업이 AI 도입과 운영 경험을 발표하고 이어 AI 트랜스포메이션의 과제와 방향성을 논의하는 패널 토론으로 진행됐다. 연사들은 AI 도입 여부를 넘어 비용과 운영 효율, 에이전틱 AI, 기업 맞춤형 전환 전략 등 기업 AX의 핵심 과제를 중심으로 실전 경험을 소개했다.

AI 혁신의 핵심은 에이전틱 AI…기업은 '디퓨전 갭' 극복해야"

진요한 LG CNS AI센터장이 3일 서울 코엑스 그랜드볼룸에서 열린 '메타콘 2026'에서 발표하고 있다. / 토큰포스트

진요한 LG CNS AI센터장은 AI를 인간의 지적 역량을 확장하는 새로운 산업혁명으로 규정했다. 그는 1차 산업혁명이 기계를 통해 인간의 육체적 한계를 넓혔다면 AI는 코딩 언어 대신 자연어를 사용하는 시대를 열며 기획자가 직접 프로토타입을 만들고 1인 기업이 등장하는 등 "한 사람이 할 수 있는 범위가 넓어진 혁명적인 시기"라고 설명했다.

그는 AI 시장이 클라우드보다 훨씬 큰 성장 잠재력을 지녔지만 기업 현장에는 기술 발전 속도와 실제 도입 사이의 '디퓨전 갭(Diffusion Gap)'이 존재한다고 진단했다. 데이터와 시스템 연계, 거버넌스, 보안, 업무 프로세스 재설계 등으로 인해 '프론티어 레벨의 인텔리전스'를 현장에 적용하기까지 시간 차가 발생하며, 이를 관리하는 것이 기업의 핵심 과제라고 말했다.

기업 AI 도입의 현실적인 과제로 비용과 보안, ROI를 꼽으며 "토큰을 많이 쓰게 했더니 기업 입장에서는 감당이 안 된다"는 고민이 커지고 있다고 설명했다. 이에 문서 작성 등 생성형 AI를 쉽게 적용할 수 있는 '그린필드'와 기존 ERP·HR 등 업무 시스템을 연결하는 '브라운필드'를 함께 추진해야 한다고 강조했다.

중요한 것은 "기업의 비용과 환경, 필요한 지능을 가지고 얼마나 운영할 수 있느냐"라며 "빨리 시작해야 하는 영역과 시간이 필요한 영역을 확인하며 준비하는 플랫폼 전략이 무엇보다 중요하다"고 덧붙였다.

AI 경쟁력은 모델보다 ROI…기업은 토큰 비용 관리가 핵심

이진형 KT 본부장이 3일 서울 코엑스 그랜드볼룸에서 열린 '메타콘 2026'에서 발표하고 있다. / 토큰포스트

KT 이진형 본부장은 기업 AI 도입의 핵심 과제로 기술보다 경제성과 투자 대비 효과(ROI)를 꼽으며 이제 기업의 고민은 "AI를 도입할 것인가가 아니라 얼마의 비용으로 어떻게 안정적으로 실행할 것인가"라고 말했다. 단순한 프로그램도 수백만 토큰을 사용할 만큼 AI 운영 비용이 빠르게 증가하고 있으며 일부 기업은 사용량 제한을 둘 정도로 AI 도입 단계에서 토큰 비용 관리가 중요한 화두가 됐다고 말했다.

그는 AI 비용을 낮추기 위해 오픈소스 모델 활용이 확대되고 있지만 "토큰 단가가 떨어질수록 더 많이 쓰는 '제번스 역설'이 나타난다"고 진단했다. 특히 기업용 에이전트는 파일 검색과 도구 연동, 반복 검증, 보안 테스트까지 수행해야 해 단순 프롬프트 방식보다 최대 1000배 이상의 토큰을 사용할 수 있다며 "토큰 예산은 더 이상 단순한 비용 변수가 아니라 성능 변수"라고 강조했다.

이어 AI 투자 성패는 모델 자체보다 운영 효율에서 갈릴 것이라고 전망했다. 모델 성능은 점차 평준화될 가능성이 높은 반면, 추론 최적화와 토큰 관리, 적절한 모델 선택, 에이전트 운영 효율이 기업의 ROI를 좌우하게 될 것이라는 설명이다. 데이터센터와 클라우드, 추론·토큰 관리, 에이전트 운영을 AI ROI를 결정하는 네 가지 핵심 레이어로 제시하며 "기업은 어떤 업무에는 고성능 모델을, 어떤 업무에는 작은 모델을 쓰는 등 운영비를 얼마나 효율적으로 관리하느냐가 경쟁력이 될 것"이라고 말했다.

AI 경쟁은 모델에서 에이전트로…소버린 AI도 '성능' 아닌 '운영'으로

최홍준 업스테이지 부사장이 3일 서울 코엑스 그랜드볼룸에서 열린 '메타콘 2026'에서 발표하고 있다. / 토큰포스트

독자 AI 파운데이션 모델을 개발 중인 업스테이지의 최홍준 부사장은 AI 산업이 모델 경쟁을 넘어 에이전트 중심의 패러다임으로 전환되고 있다고 진단했다. 생성형 AI가 아직 청소년기 단계에 있다며 소프트웨어 개발 분야에서는 빠르게 성과를 내고 있지만 백오피스와 마케팅, 금융, 법률 등 전문 업무는 여전히 해결해야 할 과제가 많다고 설명했다. 한편, 미국의 클로즈드 모델과 중국 오픈소스 모델 간 성능 격차가 빠르게 좁혀지고 있으며, 가격 경쟁력까지 더해지면서 기업들의 모델 선택 기준도 변화하고 있다고 말했다.

그는 소버린 AI의 의미도 변화하고 있다고 강조했다. 초기에는 언어와 문화에 최적화된 '현지화(Localization)'가 핵심이었다면 이제는 데이터 주권과 컴퓨팅 자원 독립성, 에이전트 성능까지 포함하는 국가 전략 자산의 개념으로 확대되고 있다는 설명이다. 업스테이지 역시 한국어·영어·일본어 특화 모델과 산업별 특화 모델을 개발하고 있으며, 향후 의료·금융·공공·제조 등 국가 기간산업으로 적용 범위를 넓히고 비전언어모델(VLM)까지 확장할 계획이라고 소개했다.

최 부사장은 앞으로 AI 경쟁력은 개별 모델보다 에이전트 시스템에서 결정될 것이라고 전망했다. 여러 에이전트가 협업하고 스스로 성능을 개선하는 단계로 발전하면서 '하네스 엔지니어링(Harness Engineering)'과 '오케스트레이션(Orchestration)'이 핵심 기술로 떠오르고 있다는 것이다.

그는 앞으로는 사람이 직접 프롬프트를 입력하는 것보다 에이전트가 서로 협업하며 생성하는 토큰이 훨씬 많아지는 '토큰 팩토리(Token Factory)' 시대가 열릴 것이라며 기업 환경에서는 데이터와 보안, 업무 프로세스를 통합해 AI를 통제하고 최적화하는 시스템 구축이 중요하다고 강조했다.

이어 업스테이지 내부에서도 AI 에이전트 활용 범위가 빠르게 확대되고 있다고 소개했다. 과거에는 엔지니어나 PM의 업무를 보조하는 수준이었다면 현재는 기획과 디자인, 개발, QA, 문서 작성 등 대부분의 업무를 에이전트가 수행하고 있으며, 사람은 검토와 승인에 집중하는 방식으로 업무 체계를 전환하고 있다고 설명했다.

3일 서울 코엑스 그랜드볼룸에서 열린 '메타콘 2026'에서 '대한민국 대표 AX 컨설팅 기업들이 직접 공개하는 AX 전략의 현재' 세션 / 토큰포스트

이어진 패널 토론에서는 각 기업을 대상으로 한 질의응답이 이어졌다. 한연선 더밀크 리서치센터장은 먼저 "AI 도입 과정에서 비용과 성능, 보안이 핵심 고려 요소로 꼽히는데, 실제 기업들은 어떤 어려움을 겪고 있으며 LG CNS는 이를 어떻게 해결하고 있는가"라는 질문으로 세션을 열었다.

진 AI센터장은 "규제 산업인 제조와 공공, 금융 분야 고객들은 보안이 강화된 환경에서 높은 성능을 구현해야 하는 요구가 커 어려움을 많이 겪고 있다"며 "과거에는 '어떤 모델을 쓸 것인가'를 고민했다면 이제는 업무별로 비용·성능·보안을 각각 따져야 하는 단계로 접어들었다"고 말했다.

이에 기업마다 보안과 성능을 기준으로 우선순위를 나눠 접근할 필요가 있다면서 보안과 성능 모두 높은 수준이 요구되는 영역은 시간이 걸리더라도 충분한 데이터와 GPU를 활용해 준비하고, 요구 수준이 상대적으로 낮은 업무는 보다 빠르게 적용하는 전략을 제시했다.

또한 AI 경쟁력은 '프론티어 모델' 자체보다 이를 '프론티어 인텔리전스'로 만드는 과정에 있다고 강조했다. 특정 업무에서 70% 수준의 성능을 90%까지 끌어올리기 위해서는 현업 담당자만 알고 있는 업무 지식과 평가 기준, 업무 트래젝토리를 반영하며 '힐 클라이밍(Hill Climbing)'하듯 성능을 지속적으로 높여가는 노하우가 필요하다면서 "이러한 노하우를 플랫폼에 담아낼 수 있어야 기업의 AI 경쟁력이 완성된다"고 덧붙였다.

이어 AI 비용 이슈가 기업들의 큰 화두가 되고 있는 상황에서 KT는 고객과 어떤 윈윈 전략을 추진하고 있느냐는 질문에 이 본부장은 "성공적인 AX를 위해서는 AI 인프라스트럭처와 모델, 워크플로 등 세 가지를 함께 설계해야 한다"며 "GPU·NPU와 클라우드 등 인프라를 어떻게 구성할지, 업무별로 적합한 모델을 어떻게 선택할지, 실제 현업의 업무 흐름에 맞게 워크플로를 어떻게 설계할지가 핵심"이라고 설명했다.

이를 위해 KT는 '포워드 디플로이먼트 엔지니어(Forward Deployment Engineer)'와 '워크플로 디자이너'를 하나의 '스쿼드(Squad)'로 구성해 고객사와 함께 프로젝트를 수행하고 있다고 밝혔다. 그는 현업만이 알고 있는 업무 방식을 함께 설계하는 방식으로 접근하면서 과거보다 성공 사례가 크게 늘었으며 고객 수요가 증가하고 있다고 밝혔다.

최홍준 업스테이지 부사장은 AI 모델 성능이 상향 평준화되는 상황에서 기업들이 왜 자체 소버린 AI 모델을 선택하는지를 묻는 질문에 답변했다.

그는 "최근 오픈소스 모델의 성능이 크게 향상된 것은 사실이지만 기업이 실제 서비스를 운영하는 환경에서는 또 다른 기준이 필요하다"며 "오픈소스 모델이 특정 업무에서는 충분한 성능을 내는 경우도 많고, 고객들로부터 '중국계 오픈소스를 파인튜닝해도 괜찮다'는 피드백도 듣고 있다"면서도 "기업이 자체 소버린 AI를 선택하는 이유는 성능보다 데이터 주권과 통제 가능성에 있다"고 말했다.

이어 "기업은 내부 데이터와 조직별 용어를 AI가 제대로 이해하는지, 누가 데이터에 접근하는지 통제할 수 있는지, 프롬프트가 외부로 유출되지 않는지, 감사와 보안 심사에 대응할 수 있는지를 중요하게 본다"며 "규제를 받는 금융과 공공, 국가 기간산업에서는 이러한 요구를 충족할 수 있는 소버린 AI의 필요성이 오히려 커지고 있다"고 설명했다.

또한 PoC와 실제 사업 환경의 차이도 강조했다. 최 부사장은 "개념 검증(PoC) 단계에서는 오픈소스 모델도 좋은 성능을 보이지만, 실제 사업에 들어가면 기업이 보유한 문서와 데이터가 투입되면서 성능 차이가 나타난다"며 "업스테이지는 Document AI와 소버린 AI를 연계한 파이프라인을 최적화해 기업 환경에서도 안정적인 성능을 구현하는 데 집중하고 있다"고 밝혔다.

AI 경쟁력은 운영에서 갈린다…기업이 갖춰야 할 세 가지

공통 질문으로 'AI를 안정적으로 실행하고 운영하는 단계에서 기업의 성패를 가르는 결정적인 요인은 무엇인가'라는 질문이 나오자 진요한 LG CNS AI센터장은 "AI는 도입과 전환을 분리해서 생각할 수 없다"며 "전환이 되지 않았다면 결국 도입도 이뤄지지 않은 것"이라고 말했다.

이어 기업 AI 도입은 확산(Diffusion)→수렴(Convergence)→최적화(Optimization) 단계를 거쳐야 한다고 설명했다. 그는 "처음에는 일단 많이 써보는 확산이 필요하고, 이후 무엇을 남길지 수렴한 뒤 토큰 비용 대비 효과를 따지는 최적화 단계까지 가야 한다"며 "관망하기보다 작은 규모라도 직접 경험을 축적하는 기업이 경쟁력을 갖게 될 것"이라고 강조했다.

또한 생성형 AI 활용이 늘면서 개별 에이전트만 늘리는 '에이전트 워싱(Agent Washing)'에 그쳐서는 안 된다고 지적했다. 진 센터장은 "기업은 단순히 뗏목을 여러 개 만드는 것이 아니라 바다를 건널 큰 배를 만들어야 한다"며 "기존 시스템을 혁신하는 브라운필드와 새로운 영역을 실험하는 그린필드를 함께 추진하는 전략이 AI 전환의 핵심"이라고 말했다.

이진형 KT 본부장은 AI 실행과 운영 전략은 공공과 기업, 교육기관이 각각 다른 접근이 필요하다고 설명했다. 그는 "공공은 규제로 인해 최신 AI를 빠르게 적용하기 어렵기 때문에 장기적인 투자와 인내가 필요하다"며 "엔터프라이즈는 최고경영진(C-Level)의 강력한 추진 의지가 성패를 좌우한다"고 말했다.

이어 "ROI를 실제 비즈니스 성과로 연결하는 일은 현업만으로 해결하기 어렵다"며 "경영진이 직접 AI 전환을 추진하고 AI 엔지니어와 현업이 함께 실행하는 구조가 성공 확률을 높인다"고 설명했다. 또한 대학에 대해서는 "학생들이 특정 모델 하나만 사용하는 것이 아니라 다양한 모델을 경험할 수 있는 환경을 제공해야 기업이 요구하는 AI 역량을 갖출 수 있다"고 조언했다.

최홍준 업스테이지 부사장은 기업 AI 프로젝트의 성공 조건으로 비즈니스 프로세스, 운영 체계, 자기 개선(Self-improvement) 등 세 가지를 제시했다.

그는 "AI가 기존 업무와 분리된 독립형 솔루션으로 머물러서는 안 된다"며 "의사결정이 시작되는 지점부터 AI가 자연스럽게 활용될 수 있도록 비즈니스 프로세스에 녹아들어야 한다"고 말했다. 이어 "AI는 기존 SaaS처럼 운영해서는 안 되며 AI 서비스에 맞는 운영 체계를 갖춰야 한다"고 강조했다.

또한 AI가 생성한 결과를 단순히 저장하는 데 그치지 않고 실제 의사결정에 어떻게 활용됐는지 기록하고, 이를 다시 학습에 반영하는 선순환 구조를 구축해야 한다고 설명했다. 최 부사장은 "이 같은 자기 개선 루프가 구축될 때 기업의 AI 도입이 실질적인 성과로 이어질 수 있다"고 말했다.

AI 시대 인재의 조건…"호기심과 실행력이 경쟁력"

AI 시대에 필요한 인재상에 대한 질문에는 세 연사 모두 기술 자체보다 문제 해결 능력과 실행력을 공통적으로 강조했다.

먼저 진요한 LG CNS AI센터장은 "과학자처럼 가설을 세우고 직접 시도한 뒤 결과를 검증하며 다음 단계로 나아가는 태도가 중요하다"며 "변화를 긍정적으로 받아들이고 끊임없이 실험하는 자세가 AI 시대의 경쟁력이 될 것"이라고 말했다.

이어 이진형 KT 본부장은 채용 기준이 크게 달라지고 있다고 설명했다. 그는 "기업은 기술보다 고객의 문제를 정확히 이해하고 산업별로 AX 전환 방안을 찾아낼 수 있는 사람을 원한다"고 밝혔다. 아울러 "미래 산업의 변화를 읽을 수 있는 감각이 필요하다"며 "이는 꾸준한 학습과 산업 생태계에 대한 이해에서 나온다"고 말했다.

최홍준 업스테이지 부사장은 "지금처럼 누구나 쉽게 AI를 활용해 서비스를 만들 수 있는 시대는 없었다"며 "주식 리서치 에이전트처럼 작은 프로젝트부터 직접 만들어 보고 자신의 업무에 적용하는 경험이 가장 큰 경쟁력이 된다"고 강조했다. 이어 "기술을 많이 아는 것보다 호기심을 갖고 직접 적용하며 경험을 쌓는 사람이 결국 AI 시대의 기회를 잡게 될 것"이라고 덧붙였다.

메타콘 2026은 7월 3~4일 서울 코엑스 그랜드볼룸에서 열리는 AI 컨퍼런스로, "AI Makers Rise"를 주제로 AI 시대를 이끄는 기업과 빌더들의 전략과 실행 경험을 공유한다. AI 기술과 엔터프라이즈 혁신, 마케팅, 투자까지 아우르는 확장된 프로그램을 통해 AI가 만들어갈 새로운 산업과 일의 변화를 조망한다.