기업용 인공지능(AI)을 도입하려는 기업들이 가장 먼저 맞닥뜨리는 장벽은 기술 자체보다도 데이터를 어떻게 활용할 것인가에 있다는 지적이 나왔다. 보스턴컨설팅그룹(BCG)은 "제대로 된 데이터 관리 없이 AI 도입은 무용지물"이라고 강조하며, 기업이 이전까지 활용하지 않았던 '숨은 데이터'가 성패를 좌우할 수 있다고 진단했다.
최근 열린 '벤처비트 트랜스폼 2025' 컨퍼런스에서 BCG의 브레이든 홀스테지 매니징 디렉터는 "AI 시스템은 단순히 기술로 구축되는 것이 아니라 사람, 프로세스, 디자인이 얽힌 복잡한 생태계"라며 "데이터 품질, 관리, 접근권한까지 다층의 고려가 필요하다"고 말했다.
특히 그는 자연어처리(NLP)와 대형언어모델(LLM)의 진화로 활용 가능한 데이터 범주가 넓어진 점에 주목했다. 한 고객사는 대형언어모델을 활용해 수백만 건의 이탈 고객 분석, 제품 불만사항, 긍정 피드백을 정밀 분석할 수 있었고, 과거에는 포착할 수 없던 인사이트를 얻었다는 후문이다. 그는 "거래 데이터뿐 아니라 고객 피드백, 애플리케이션 개발 과정에서 생성되는 로그 데이터 등 수많은 유형의 데이터가 활용 가능해졌다"고 설명했다.
마이크로소프트의 수전 에틀링거 애저AI 전략 디렉터 역시 "AI는 가능성의 예술"이라며 "기존 문제 해결보다 도입 과정 중에 전혀 다른 가치를 발견하게 될 수도 있다"고 말했다. 이는 기업들이 명확한 목표와 실현 가능한 사용 사례를 병행해 접근해야 한다는 의미이기도 하다.
기업의 AI 도입 속도를 좌우하는 또 하나의 요소로 'AI 구현에 최적화된 데이터 인프라', 즉 'AI 레디 데이터'가 지목된다. 가트너 조사에 따르면 500개 중견 기업 CIO·기술 리더 중 과반수가 "AI 레디 인프라 구축 시 데이터 흐름이 더 유연하고 신속해진다"고 응답했다. 하지만 아직 준비가 부족한 곳이 대부분이다. 실제 가트너는 2026년까지 AI 레디 데이터 기반이 갖춰지지 않은 AI 프로젝트 60%가 중단될 것으로 내다봤다.
은행권도 예외는 아니다. 뱅크오브아메리카의 데이터 및 AI 총괄 아와이스 셰르 바즈와는 "사용자들의 눈높이가 이미 높아진 시대이기에 단순한 기능을 빠르게 배포하는 것보다 구현과 확장 전략이 더욱 중요하다"고 말했다. 그는 또한 "채팅 기반 애플리케이션을 중심으로 협업적 교육 방식이 필요하다"고 덧붙였다.
AI 인프라 구축을 위한 클라우드 선택 역시 기업에 복잡한 선택지를 안기고 있다. 홀스테지는 "기존 하이퍼스케일 클라우드 서비스 외에 GPU 기반의 저비용 대안도 등장했지만, 여전히 대부분의 기업은 데이터가 있는 곳에서 AI를 도입하려는 경향이 강하다"고 말했다. 그는 오픈소스 모델인 라마(LLaMA)와 미스트랄(Mistral)의 사례를 언급하며, 컴퓨팅 비용과 최적화 부담 사이의 *트레이드오프*가 존재한다고 분석했다.
기업이 LLM을 비롯한 생성형 AI를 비즈니스에 적용하려면 기술적 실험을 넘어, 데이터의 품질과 범용성 확보에 대한 중장기 전략이 필수다. 데이터가 곧 AI의 연료임을 감안하면, 방대한 데이터를 단지 저장해두는 데 그치지 않고 실질적인 전략 자산으로 전환하는 과정이 기업 경쟁력의 핵심이 될 것으로 전망된다.