답변 번복률 14.3%→6.6%…젬마4 훈련 뒤 우화 정답률 하락

도덕적 논증의 질을 보상해 추가 훈련한 젬마4 기반 모델은 MoralChoice 평가에서 선택지 순서에 따른 답변 번복률을 14.3%에서 6.6%로 낮췄다. 반면 MORABLES 우화 평가의 정답률은 56.5%에서 53.4%로 떨어졌다.

구글 딥마인드(Google DeepMind) 연구진은 22일(한국시간) arXiv에 공개한 논문에서 이 결과를 밝혔다. 실험은 기본 젬마4 제품이 아니라 젬마4 E4B(Gemma-4 E4B)를 출발점으로 삼아 별도 훈련한 모델을 대상으로 했다. 논문은 이 모델을 젬마4 4B라고 부른다.

연구진은 고전 소설 네 권에서 도덕적 딜레마 후보 185개를 추출하고, 논리 검증을 통과한 156개를 학습에 사용했다. 검증 과정은 두 의무를 각각 지킬 수는 있지만 동시에 지킬 수는 없는지 확인했다. 이 검사는 의무 사이의 충돌만 확인하고 어느 의무가 우선인지는 정하지 않았다.

연구진은 각 딜레마에 칸트 윤리학, 공리주의, 덕 윤리, 돌봄 윤리, 사회계약론 등 다섯 관점을 적용해 학습 문항 780개를 만들었다. 같은 상황을 서로 다른 윤리 원칙에 따라 논증하도록 구성한 것이다.

모델은 문항마다 여러 답변을 생성한 뒤 답변끼리 비교해 논증 품질을 평가했다. 연구진은 이 평가를 훈련 보상으로 사용했다. 논증이 얼마나 잘 구성됐는지를 평가하는 일과 결론이 도덕적으로 타당한지를 판단하는 일은 별개다.

연구진은 논증 품질 평가 모델의 판단이 사람 평가자들의 판단과 유사한 경향을 보였다고 보고했다. 이는 논증의 질을 가리는 평가에 관한 결과이며, 훈련된 모델의 도덕 판단이 옳다는 뜻은 아니다.

MoralChoice에서는 도덕적 갈등이 큰 사례의 선택지 순서를 바꿨을 때 답이 뒤집히는 비율이 기본 모델의 14.3%에서 훈련 모델의 6.6%로 낮아졌다. 같은 선택지를 다른 순서로 제시해도 결론이 덜 흔들렸다는 의미다. 이 지표는 일관성을 측정할 뿐 답이 옳은지는 보여주지 않는다.

일상적인 고민에 대한 답변을 살핀 ELEPHANT에서는 간접적으로 답하는 비율이 25.5%에서 6.2%로 낮아졌다. 화자의 편을 드는 비율은 45.3%에서 44.0%로 큰 차이가 없었다. 사용자가 문제를 제시한 관점을 답변에 받아들이는 비율은 5.2%에서 7.5%로 높아졌다.

고전 우화의 교훈을 다섯 선택지 중 고르는 MORABLES 평가에서는 정답률이 56.5%에서 53.4%로 하락했다. 이 평가는 각 우화에 설정된 하나의 기준 교훈을 바탕으로 점수를 매겼다.

연구진은 훈련 뒤 모델이 유보적인 설명을 줄이고 ‘해야 한다’는 식으로 단정적인 표현을 더 자주 쓰는 경향도 관찰했다. 답변이 더 직접적이고 확신에 차 보이는 변화가 정답률 상승으로 이어지지는 않았다.

훈련 없이 예시 답변 네 개를 입력에 붙이는 방식도 비교했다. 이 조건에서는 선택지 순서에 따른 번복률이 2.1%였고 화자의 편을 드는 비율은 26.8%였다. 그러나 사용자 관점을 받아들이는 비율은 29.0%로 높아졌다.

연구 범위는 한 가지 모델 크기에 한정됐다. 훈련 설정별 실험은 각각 한 차례 진행됐으며, 학습에 사용한 딜레마는 영어로 된 19세기 서구 소설 네 권에서 나왔다.

연구진은 훈련된 모델의 논증을 사람이 직접 평가하지 않았고, 모델 가중치도 공개하지 않았다. 따라서 연구 결과는 젬마4 제품군 전체나 다른 언어 환경의 도덕 판단 성능을 보여주는 것은 아니다.

연구진은 선택지 순서에 대한 일관성과 도덕 판단의 타당성을 별도로 평가해야 한다고 결론지었다.