오픈라우터, 실제 업무로 AI 모델 고르는 평가 도구 공개

오픈라우터(OpenRouter)가 실제 코드와 업무 흐름을 바탕으로 AI 모델의 성능과 속도, 비용을 비교하는 평가 도구 ‘오리 이밸(Ori Eval)’을 공개했다. 개발자가 여러 모델을 일일이 시험해야 하는 부담을 줄이고 제품에 적합한 모델을 찾도록 돕는 도구다.

오픈라우터는 4일 공식 블로그에서 오리 이밸이 애플리케이션의 실제 프롬프트를 실행하고 도구 호출과 답변 품질을 점검해 모델 선택 근거를 제시한다고 밝혔다. 오픈라우터는 하나의 API로 여러 AI 모델을 이용할 수 있게 하는 게이트웨이형 서비스다.

오리 이밸은 공개 리더보드처럼 모델의 범용 순위를 매기는 대신 특정 서비스에서 어떤 모델이 더 잘 작동하는지를 평가한다. 일반 벤치마크나 소셜미디어 추천만으로는 개별 제품의 데이터와 프롬프트, 실행 환경을 반영하기 어렵다는 문제의식에서 출발했다.

이 도구는 개발자의 코드베이스에서 모델 호출 지점을 찾아 평가 파일을 만든다. 이후 후보 모델을 같은 조건에서 실행해 결과를 비교한다. 개발자는 정확도와 속도, 비용, 지연시간, 도구 호출 정확도 등 제품에 필요한 기준을 지정할 수 있다.

평가 과정에서는 실행 환경과 모델 설정, 추론 강도를 고정한다. 후보 모델마다 다른 조건이 적용돼 결과가 왜곡되는 일을 막기 위한 설계다.

평가 내용은 ‘*.eval.ts’ 형식의 코드 파일로 저장되며 ‘bun test’ 방식으로 실행된다. 에이전트가 필요한 도구를 호출했는지, 실행하면 안 되는 도구를 피했는지, 답변을 끝까지 완성했는지 등을 검사한다. 정답이 정해지지 않은 답변은 별도의 대규모언어모델(LLM)을 이용해 채점할 수 있다.

자연어로 설명한 버그를 테스트로 바꾸는 기능도 제공한다. 고객지원 에이전트가 주문 조회 없이 환불을 처리하는 문제를 입력하면 주문 조회 도구의 호출 여부를 검사하는 평가를 만드는 방식이다. 개발자는 수정 작업을 마친 뒤 같은 평가를 다시 실행해 문제가 재발하는지 확인할 수 있다.

깃허브 액션(GitHub Actions)과 연결하면 평가를 회귀 테스트로 활용할 수 있다. 평가에 실패했을 때 지속적 통합(CI) 작업도 실패하도록 설정하고, 사람이 직접 실행하거나 정해진 일정에 맞춰 자동으로 돌릴 수 있다.

이번 출시는 오픈라우터의 사업 영역이 모델 중계에서 개발·운영 관리로 넓어지고 있음을 보여준다. 오픈라우터는 7월 에이전트의 작업과 비용을 추적하는 ‘클래시파이어(Classifiers)’를 소개하고 지연시간과 처리량, 가동시간을 기준으로 LLM 제공자의 성능을 평가하는 방법도 공개했다. 앞서 본지는 오픈라우터의 대규모 요청 로그를 토대로 AI 모델의 사용량과 성능을 분석한 사례를 전했다.

크립토와의 직접적인 연결은 결제 수단에 한정된다. 오픈라우터는 신용카드와 알리페이 외에 달러 가치에 연동되는 스테이블코인 유에스디코인(USDC)을 지원한다. 오리 이밸 자체는 블록체인 서비스나 토큰 프로젝트로 소개되지 않았다.

검증 출처: 오픈라우터 오리 이밸 블로그, 오리 이밸 문서, 빠른 시작 안내, 자주 묻는 질문.