AI가 상담 전화를 받는다…포넬리, 인간같은 음성 에이전트로 콜센터 재편

AI 스타트업 포넬리(Phonely)가 인간과 구분할 수 없는 수준의 음성 AI 에이전트를 내놓으며 고객 센터 산업의 지형을 흔들고 있다. 포넬리는 반도체 업체 그록(Groq)과 AI 모델 최적화 플랫폼 마이타이(Maitai)와의 협업을 통해 응답 정확도를 99% 이상으로 끌어올렸으며, 응답 지연은 70% 이상 줄이는 데 성공했다. 이번 기술 혁신은 대화형 AI가 직면해온 '비인간적 응답의 어색함' 문제, 이른바 '언캐니 밸리(Uncanny Valley)'를 사실상 극복한 첫 사례로 평가된다.

포넬리가 도입한 핵심 기술은 그록이 개발한 '제로 레이턴시 LoRA 핫스와핑'이다. 이 기술은 기존 대형 언어 모델의 응답 지연 문제를 해결하기 위해 설계된 것으로, 서로 다른 LoRA(저차원 수정 가중치) 모델들을 단 한 번의 지연 없이 전환하며 운영할 수 있도록 지원한다. 이를 통해 포넬리는 기존 81.5%이던 정확도를 네 차례 모델 최적화를 거쳐 99.2%까지 끌어올렸고, 응답 시작 시간은 기존 661밀리초에서 176밀리초로 단축했다.

마이타이의 역할도 주목할 만하다. 마이타이는 클라이언트와 모델 제공자 사이에 위치한 일종의 프록시 레이어로, 각 고객 요청마다 최적의 모델을 실시간으로 선택하고 성능 데이터를 수집해 지속적인 개선이 이뤄지도록 한다. 이 시스템 덕분에 기존 AI보다 훨씬 빠르고 정확한 고객 응대가 가능해졌다. 실제로 포넬리는 도입 고객 중 한 곳에서 기존 모델 대비 32% 더 많은 잠재 고객 유치 효과를 경험했다고 밝혔다.

테크놀로지의 발전은 인력 구조에도 즉각적인 영향을 미치고 있다. 포넬리에 따르면 한 콜센터 고객사는 이 AI 시스템을 도입하면서 단 한 달 만에 350명의 상담 인력을 AI로 대체했다. 인건비 절감 외에도 교육, 일정 조율, 수요 예측 등 인력 관리에서의 부담을 획기적으로 줄일 수 있게 됐다는 것이 현장의 평가다. 특히 일정 관리가 중요한 예약 업무와 리드 분류 작업에서는 기존 시스템 대비 월등한 성능을 보이고 있는 것으로 나타났다.

이번 혁신을 가능케 한 하드웨어적 요소도 눈여겨볼만 하다. 그록의 LPU(Language Processing Unit)는 언어 처리에 특화된 AI 추론용 칩으로, 기존 GPU 대비 낮은 전력 소모와 예측 가능한 처리 구조를 제공한다. 이 구조 덕분에 수십 개의 LoRA 모델을 단일 인스턴스에서 동시에 구동할 수 있으며, 이를 통한 전례 없는 수준의 정밀한 업무 최적화가 실현 가능해졌다. 클라우드 기반으로 운영되는 이 시스템은 고객사에 최저 비용의 모델 추론 서비스를 제공하면서도 대규모 확장성을 확보하고 있다.

더불어 마이타이는 기존 일반 목적 모델을 사용하는 기업 고객이 당일 중으로 자사 시스템으로 전환할 수 있도록 한다. 통상 수개월 소요되던 모델 통합 및 맞춤화 작업을 프록시 구조를 통해 단 몇 시간 안에 처리함으로써 투자 대비 효과를 빠르게 체감할 수 있도록 한 것이다.

이번 기술 협업은 더 이상 범용 모델 하나로 다양한 업무를 커버하는 시대가 끝나가고 있음을 시사한다. 마이타이 측은 최근 기업들이 AI 활용을 보다 세분화하면서, 각 업무에 최적화된 개별 모델을 구성하는 사례가 급증하고 있다고 전했다. 이 과정에서 동시다발적으로 다양한 LoRA 모델을 교차 전환하는 구조가 생성되고 있으며, 이는 기업 AI 구축 방식 전반을 재정의하는 흐름으로 이어지고 있다.

포넬리와 그록, 마이타이의 협업은 단순한 기술 개발 이상으로, 기업 내 AI 운영 모델의 패러다임을 근본적으로 뒤흔드는 전환점이 될 가능성이 크다. 음성 AI의 자연스러움이 갈수록 강화되는 가운데, 이 기술을 조기에 도입한 기업들은 고객 응대 품질과 비용 효율 측면 모두에서 새로운 경쟁력을 확보하게 될 전망이다. AI가 전화를 받는 시대가 단순한 가능성을 넘어, 실제 비즈니스 환경의 핵심 전략으로 부상하고 있다.