하비 총마진 -50%…AI 에이전트가 키운 추론 비용

법률 인공지능(AI) 기업 하비(Harvey)의 총마진이 올해 초 약 50%에서 6월 마이너스 50%로 떨어졌다. AI 에이전트 업데이트 이후 고객 사용량과 모델 추론 비용이 급증한 결과다.

블룸버그는 하비의 고객 사용량이 3월 AI 에이전트 업데이트 이후 크게 늘었다고 보도했다. 하비의 기업가치는 156억달러(약 21조원)로 보도됐다.

하비의 총마진 하락은 고정 좌석 요금과 실제 사용량 사이의 간극에서 비롯됐다. 고객이 늘지 않더라도 한 사용자가 처리하는 업무가 복잡해지면 모델 호출 비용은 함께 증가한다.

AI 에이전트는 단순 질의응답보다 많은 토큰을 사용한다. 변호사가 수백 쪽의 소송 자료나 대규모 계약서를 입력하면 에이전트가 문서를 검색하고 여러 차례 추론하며 외부 도구를 호출한 뒤 결과를 다시 고치는 작업을 반복하기 때문이다.

좌석당 고정 요금제는 사용량이 일정할 때 비용을 예측하기 쉽다. 그러나 에이전트가 장시간 자율적으로 작동하면 같은 좌석 수에서도 고객별 연산량과 비용 차이가 커질 수 있다.

AI 에이전트 사용량이 늘면서 좌석 수만으로 서비스 비용을 설명하기 어려워졌다. 업무별 문서 분량과 처리 복잡도에 따라 실제 토큰 소비량과 추론 비용이 달라지기 때문이다.

고정 요금과 실제 연산량 사이의 간극을 줄이려면 모델 선택과 업무별 사용량 관리가 필요하다. 에이전트가 반복적으로 검색·추론·수정하는 구조에서는 고객 사용량이 늘수록 비용 부담도 함께 커질 수 있다.

◇ 자체 모델로 비용 구조 조정

하비는 비용 구조를 바꾸기 위해 자체 모델 개발에도 나섰다. 하비가 8월 20일 공개한 하비 테넷(Harvey Tenet)은 문샷AI(Moonshot AI)의 오픈 웨이트 모델 Kimi K3를 기반으로 Fireworks Research와 공동 개발한 모델이다.

하비는 테넷에 법률 업무에 맞춘 후처리를 적용해 장시간 이어지는 에이전트 작업을 수행하도록 설계했다고 밝혔다. 하비가 Kimi K3 기반 법률 AI 모델을 개발한 내용은 앞서 보도된 바 있다.

하비는 테넷 연구 자료에서 오픈 웨이트 모델이 토큰당 가격뿐 아니라 추론 과정에서 사용하는 토큰 수도 줄일 수 있다고 설명했다. 불필요한 도구 호출과 추론 단계를 줄여 같은 수준의 결과를 더 적은 연산으로 내는 방식이다.

다만 하비가 공개한 자료는 비용 효율성이 개선될 가능성을 제시한 연구 결과다. 테넷 도입으로 하비 전체 사업의 수익성이 실제로 회복됐다는 수치는 공개되지 않았다.

하비 공식 자료는 테넷이 Kimi K3보다 법률 업무 평가에서 더 많은 과제를 완료했다고 밝혔다. 이 결과는 하비가 자체 설계한 평가 환경에서 나온 수치로, 실제 고객 업무에서의 비용 절감 폭과는 구분해야 한다.

하비는 업무별 모델 선택 기능도 비용 관리 수단으로 제시했다. 간단한 문서 작성에는 상대적으로 가벼운 모델을 쓰고 고난도 법률 분석에는 고성능 모델을 배치하는 방식이며, 관리자가 업무별 모델을 미리 지정할 수 있다고 설명했다.

이번 사례는 전문 업무용 AI 서비스의 과금 단위가 사용자 수에서 실제 작업량으로 이동할 수 있음을 보여준다. 문서 검토와 인수합병 실사처럼 업무 길이와 복잡도가 다른 작업은 같은 고객이 맡기더라도 토큰 소비량이 크게 달라질 수 있다.

법률 AI 시장에서는 품질과 비용, 데이터 통제권을 함께 고려해야 한다는 요구가 커지고 있다. 하비의 Kimi K3 기반 모델 개발은 외부 모델 제공업체에 대한 의존도를 줄이려는 시도지만, 실제 운영 비용과 상용 적용 결과는 추가 검증이 필요한 상태다.