AI 데이터에도 ‘신용점수’ 생긴다…데이터 품질 평가 체계 등장

AI 모델 성능 경쟁이 치열해지면서 데이터 품질을 객관적으로 평가하려는 움직임이 나타나고 있다.

11일(현지시간) 바비 새뮤얼스 프로테제(Protege) CEO는 a16z 포스트에서 AI 산업에서 데이터 품질을 정량적으로 평가하는 새로운 개념이 등장하고 있다고 설명했다. 그는 이를 ‘AI 데이터 FICO 점수’라고 표현했다.

새뮤얼스 CEO는 이 개념이 금융에서 개인 신용도를 평가하는 FICO 점수처럼 데이터셋의 신뢰성과 품질을 표준화된 방식으로 평가하자는 취지에서 제안됐다고 말했다.

이에 대해 그는 "AI 모델이 학습하는 데이터의 품질이 결과 성능에 직접적인 영향을 미치기 때문에 데이터 자체를 평가하는 체계가 필요하다는 문제의식에서 출발했다"며 연구자들이 데이터셋의 정확성, 대표성, 오염 여부, 편향성 등을 다양한 기준으로 측정해 점수화하는 방식을 검토하고 있다고 밝혔다.

이를 통해 특정 데이터셋이 AI 모델 학습이나 평가에 얼마나 적합한지를 객관적으로 판단할 수 있도록 하는 것이 목표라고 강조했다.

특히 데이터 오염 문제는 AI 연구에서 중요한 이슈로 떠오르고 있다고 말했다.

프로테제 CEO는 "모델이 이미 학습한 데이터가 평가용 벤치마크에 포함될 경우 실제 성능보다 높은 결과가 나타날 수 있기 때문"이라며 "이러한 문제를 해결하기 위해 데이터 품질 평가와 벤치마크 설계 자체를 과학적 연구 대상으로 삼아야 한다는 주장도 나오고 있다"고 덧붙였다.

새뮤얼스 CEO는 앞으로 다양한 분야별 데이터 품질 평가 기준이 개발될 것으로 전망했다. 그는 다국어 음성 데이터, 의료 영상 데이터, AI 에이전트 학습 데이터 등은 각각 다른 기준으로 품질을 평가해야 할 가능성이 높다고 말했다.