20억 매개변수 문서 추출 모델 발표…자체 평가 0.834점

Dharma-AI가 문서 이미지에서 필요한 항목을 추출해 구조화된 JSON으로 반환하는 20억 매개변수 모델을 소개했다. 회사가 제시한 자체 평가 점수는 1638건 기준 0.834점이다.

Dharma-AI는 4일 허깅페이스(Hugging Face)에 올린 발표문에서 Dharma Field Extractor의 작동 방식과 평가 결과를 설명했다. 모델은 문서 전체를 문자로 옮기는 데 그치지 않고 송장의 공급업체 이름, 청구 번호, 납기일, 총액처럼 필요한 값을 항목별로 추출한다.

회사는 송장과 양식, 신분증, 은행 명세서를 적용 사례로 들었다. 모델은 추출한 값을 JSON 형식으로 반환한다.

사용 방식은 두 가지다. 추출할 항목을 미리 정하지 않으면 모델이 문서에서 값을 찾아 키와 값의 쌍으로 내보내고, 항목 이름과 자료형을 지정하면 요청된 형식에 맞춰 값을 채운다.

모델은 표의 행과 열도 구분하며, 지정한 항목이 문서에 없으면 값을 만들어내지 않고 null로 표시하도록 설계됐다. 이런 방식은 문서의 글자를 읽는 것과 각 값이 어떤 항목에 해당하는지 분류하는 작업을 함께 처리한다.

기반 모델은 20억 매개변수 규모의 DharmaOCR-LITE v1.1이다. Dharma-AI는 여기에 항목 단위로 주석을 단 학습 예시 4만3384건을 이용해 LoRA 어댑터를 훈련했다고 밝혔다.

학습 자료에는 영어 문서와 브라질 포르투갈어 문서가 포함됐고, 유럽·아시아 언어 자료는 상대적으로 적은 비중이었다. 발표문은 한국어 문서의 평가 결과를 제시하지 않았다.

성능 평가는 문서 546건에 세 가지 추출 조건을 적용해 총 1638건으로 진행됐다. 조건은 전체 항목 추출, 실제 존재하는 항목만 지정한 추출, 문서에 없는 항목을 일부러 포함한 추출이었다.

점수는 필드 단위 F1, 일치한 값의 레벤슈타인 유사도, 유효한 JSON 반환 비율을 결합해 산출했다. F1은 항목을 얼마나 정확하게 찾아냈는지와 빠뜨리지 않았는지를 함께 반영하는 지표다.

Dharma-AI가 발표한 점수는 자사 모델 0.834, 비교 대상으로 시험한 클로드 오퍼스 5 0.816, GPT-5.6 Luna 0.741이다. 회사는 범용 모델 설정 네 가지를 시험했지만 발표문에는 나머지 두 설정의 개별 점수를 싣지 않았다.

이 결과는 개발사가 구성하고 실행한 평가다. 점수에 문자열 유사도와 JSON 형식 준수율이 포함돼 있어, 0.834점을 청구 금액이나 계좌번호의 정확 일치율로 해석할 수는 없다.

회사는 자체 호스팅 비용이 비교 대상 상용 API보다 약 6~147배 낮았다고 추산했다. 이 비교는 개발사가 측정한 비용을 바탕으로 한 결과다.

자사 모델 비용은 L40S GPU 한 대의 사용 시간으로 계산했고, API 비용은 페이지당 입력·출력 토큰 수와 제공사의 공개 요금을 적용했다. 회사는 이 값이 판매 가격은 아니며 실제 운영 비용은 장비와 처리량, 지연시간에 따라 달라진다고 설명했다.

비교한 범용 모델은 낮은 추론 설정으로 실행됐다. 클로드 오퍼스 5에는 낮은 수준의 adaptive effort가 적용돼 간단한 문서에서는 추론을 생략할 수 있었다.

확인 당시 허깅페이스의 Dharma-AI 조직 모델 목록에는 Dharma-OCR-LITE 저장소 한 종이 표시됐다. Field Extractor 발표문이 연결한 사용 안내 페이지는 로그인 화면으로 이어지며, 별도 가중치 저장소와 라이선스는 확인되지 않았다.

이번 발표문에는 한국어 문서 성능이 제시되지 않았다.