에이티앤티, AI 코딩 비용 56% 낮췄다

에이티앤티(AT&T·$T)가 일부 AI 코딩 작업에서 비용을 56% 낮추고 성능 저하는 2%로 제한한 것으로 전해졌다. 생성형 AI를 단순 실험이 아니라 운영비 관리 대상으로 다루는 기업 사례가 구체적 수치로 제시된 셈이다.

디인포메이션(The Information)은 에이티앤티가 LiteLLM 기반 모델 라우터를 적용한 뒤 코딩 등 일부 고급 AI 작업 비용이 56% 줄었고 품질 하락은 2%에 그쳤다고 보도했다. 이 수치는 회사 전체 AI 지출이 아니라 특정 작업군 기준이다.

에이티앤티는 7월 23일 공식 블로그에서 자체 AI 게이트웨이가 업무별로 비용과 속도, 예상 품질을 따져 모델을 고른다고 밝혔다. 회사는 하루 평균 450억 토큰을 처리하고 있으며, 캐시 인지형 라우팅과 오픈소스 모델 조합으로 일부 업무 비용을 최대 90% 줄이고 있다고 설명했다.

56%와 최대 90%는 같은 기준의 수치가 아니다. 56%는 일부 코딩 작업군, 최대 90%는 에이티앤티가 설명한 내부 AI 게이트웨이의 더 넓은 적용 범위에 대한 수치여서 직접 비교하기 어렵다.

모델 라우팅은 요청의 성격에 따라 적절한 인공지능 모델을 자동 배정하는 방식이다. 난도가 낮은 요약, 분류, 반복 작업은 저비용 모델로 처리하고 복잡한 코드 생성이나 추론 작업에는 더 강한 모델을 붙이는 식이다.

이 방식의 핵심은 모든 요청을 가장 비싼 프런티어 모델에 보내지 않는 데 있다. 에이티앤티는 대화가 여러 차례 이어지는 경우에도 중간에 모델을 바꿀 수 있다고 밝혔다.

토큰은 AI 모델이 문장을 처리하는 계산 단위에 가깝다. 기업 사용량이 커질수록 같은 업무라도 입력 문맥, 반복 호출, 출력 길이에 따라 비용 차이가 커지고, 모델 선택과 캐시 활용이 운영비를 좌우한다.

월스트리트저널(The Wall Street Journal)은 앤디 마커스(Andy Markus) 에이티앤티 최고데이터·AI책임자를 인용해 오픈 모델이 회사 전체 AI 사용의 약 25%를 차지하며 장기적으로 70~80%까지 늘어날 수 있다고 보도했다. 같은 보도에서 에이티앤티는 오픈 모델로 전환한 일부 응용에서 80~90% 비용 절감도 경험했다고 밝혔다.

오픈 모델 확대는 비용뿐 아니라 데이터 보호와 공급업체 분산 문제와도 맞닿아 있다. 월스트리트저널은 에이티앤티가 DeepSeek과 문샷(Moonshot) 같은 중국계 모델도 시험하고 있지만 실제 업무 투입 여부는 밝히지 않았다고 전했다.

마이크로소프트($MSFT)는 애저 블로그에서 에이티앤티의 OTel 2.0 개발에 약 530개 GPU, 약 1조 토큰 처리, 약 4000억 토큰 학습이 쓰였다고 밝혔다. 마이크로소프트는 Phi-4 같은 오픈소스 모델을 활용해 프런티어 모델 대비 수천만 달러(수백억원)를 절감했다고 설명했다.

OTel 2.0은 통신 산업용 AI 활용을 염두에 둔 에이티앤티의 개발 사례로 제시됐다. 대규모 토큰 처리와 다수 GPU가 투입됐다는 점에서 단순 파일럿보다 생산형 개발 체계에 가까운 사례로 읽힌다.

이번 사례는 한국 기업에도 비용 구조 측면에서 의미가 있다. 생성형 AI 도입이 챗봇이나 코드 보조 도구를 붙이는 단계를 넘어, 어느 작업에 어떤 모델을 쓸지 정하는 운영 체계 문제로 옮겨가고 있기 때문이다.

본지는 앞서 [기업들이 AI 사용량 증가에 맞춰 토큰 한도와 모델 라우팅 등 비용 통제 장치를 검토하고 있다](https://www.tokenpost.kr/news/cryptocurrency/389631)고 전했다. 코딩 에이전트처럼 문맥이 길고 호출이 반복되는 업무일수록 비용 예측과 사용량 관리가 중요해지는 구조다.

다만 공개된 수치는 모두 범위가 다르다. 56%는 일부 코딩 작업군, 80~90%는 일부 응용, 최대 90%는 에이티앤티 AI 게이트웨이 기준이며, LiteLLM 명칭은 에이티앤티 공식 블로그가 아니라 디인포메이션 보도에서 확인된다.

에이티앤티가 공식적으로 밝힌 내용은 캐시 인지형 라우팅을 쓰는 자체 AI 게이트웨이와 오픈 모델 확대 전략이다. 기업 AI 비용 경쟁은 모델 성능 비교를 넘어 라우팅, 토큰 관리, 데이터 통제, 공급업체 분산을 함께 설계하는 방향으로 이어지고 있다.