LLM 모노팩트 늘려 정답률 상승…재료과학 동일분포 평가서 환각 증가

학습 자료에서 한 번만 등장한 사례의 비중을 높인 대형언어모델(LLM)이 재료과학과 조절 유전체학 과제에서 미학습 정답을 더 많이 복원했다. 다만 재료과학의 일부 평가에서는 잘못된 답을 내는 환각도 함께 늘었다.

존스홉킨스대 연구진 등이 3일 한국시간 기준 공개한 연구 논문은 학습 자료에서 한 번만 관찰된 사실을 ‘모노팩트(monofact)’로 정의했다. 학술지에 게재된 최종 논문이 아닌 공개 연구 초고다.

연구진은 가중치를 공개한 gpt-oss-20b와 gemma-3-12b-it을 재료과학과 조절 유전체학 자료로 미세조정했다. 두 모델이 각각의 과제를 수행하는 과정에서 학습 자료에 담긴 사례의 등장 빈도와 정답 복원 결과를 비교했다.

재료과학 과제에서는 지정한 물성을 만족하는 화학식을 생성하게 했다. 조절 유전체학 과제에서는 목표 유전자 조절 활성에 맞는 DNA 서열 변형을 제안하게 했다.

논문에서 ‘발견’은 모델이 제시한 후보를 실험실에서 새로 입증했다는 뜻이 아니다. 학습 과정에서 보지 못한 목표 결과를 모델이 정확히 재현했는지를 가리킨다.

모노팩트 비중이 높을수록 두 모델과 두 분야에서 정답 복원 비율이 높아졌다. 한 번 생성하는 방식과 16번 생성한 결과 중 정답이 있는지 보는 방식에서도 같은 경향이 나타났다.

재료과학 평가에는 학습 시점과 평가 시점이 다른 자료를 썼다. 모델은 2024년 11월 14일자 Materials Project 자료로 학습했고, 2025년 9월 25일자 자료에 처음 나타난 화학식을 평가 대상으로 삼았다.

유전체학에서는 모델의 기존 지식 기준일 이후 공개된 데이터에서 일부 사례를 평가용으로 분리했다. 두 분야 모두 학습 중 보지 못한 사례를 맞혔는지를 살폈지만, 평가 자료를 구성한 방식은 달랐다.

모노팩트를 판정하는 기준도 분야마다 달랐다. 재료과학에서는 학습 자료에 한 번만 나온 원소 조합을, 유전체학에서는 다른 학습 사례와 일정 기준 이상 겹치지 않는 DNA 서열을 모노팩트로 분류했다.

연구진은 결과가 단순히 학습 자료의 다양성 때문인지 확인하기 위해 반복 횟수도 조정했다. 자료의 종류를 그대로 둔 채 같은 사례를 세 차례와 다섯 차례 반복해 학습시키자, 모노팩트 비중과 정답 복원 비율이 함께 높아지는 관계는 사라졌다.

다른 과학 분야의 모노팩트가 재료과학 과제에 미치는 효과도 시험했다. 해당 분야의 학습 자료가 함께 있을 때 효과가 나타났고, 관련 자료 없이 모노팩트만 옮긴 조건에서는 발견률이 크게 낮아지며 그 관계도 사라졌다.

정답 복원률이 높아졌다고 답변의 신뢰도까지 높아진 것은 아니다. 재료과학 학습 자료와 같은 분포에서 뽑은 미학습 사례를 평가하자, 모노팩트 비중이 높아질수록 정답 복원과 환각이 함께 증가했다.

데이터 반복을 다룬 다른 연구는 다른 결과를 냈다. 펜실베이니아대 연구진은 2026년 PNAS 논문에서 통제된 데이터와 미세조정 실험을 통해 일부 학습 사례를 반복 가중하는 방식으로 환각을 최대 40% 줄였다고 보고했다.

두 연구는 실험 과제와 설계가 달라 결과를 직접 비교하기 어렵다. 하나는 미학습 과학 과제에서 정답을 복원하는 비율과 환각을 살폈고, 다른 하나는 별도의 조건에서 사실과 다른 답변을 줄이는 방법을 평가했다.

LLM 성능이 평가 과제와 조건에 따라 달라질 수 있다는 점은 본지가 앞서 소개한 전사 길이별 정보 추출 벤치마크 결과에서도 확인됐다. 해당 평가에서는 전사 길이 구간마다 최고 점수가 달랐다.

이번 결과는 두 모델의 재료과학·조절 유전체학 미세조정 실험에 한정된다. 상용 범용 모델이나 다른 과학 분야에서도 같은 효과가 나타나는지, 모노팩트 비중의 효과가 사전학습과 이후 학습 단계까지 유지되는지는 후속 연구 과제로 남았다.