큐원3.5-4B 뉴런 조정 재현, 유해 요청 거부율 90%→8%

큐원3.5-4B(Qwen3.5-4B)에서 뉴런 활성값을 조정한 재현 실험에서 유해 요청 100개에 대한 거부율이 기본 모델 90%에서 조정 모델 8%로 낮아졌다. 별도 비교에서는 두 뉴런 가운데 하나만 조정해도 응답 변화가 나타났다.

AI 개발자 Lyra가 공개한 Neuron Explorer는 모델 내부 뉴런에 개입하고 응답 변화를 살펴보는 도구다. 큐원 공식 모델 설정 파일에는 층 32개와 층마다 MLP 중간 차원 9216개가 기재돼 있다.

두 수치를 곱하면 MLP 뉴런은 29만4912개다. 공개된 조정법은 이 가운데 14층 8949번과 13층 7956번 뉴런을 겨냥했다. 층 번호는 0부터 센다.

활성값 조정은 질문 문구를 바꾸는 대신 모델이 답을 생성하는 동안 내부 계산 신호를 바꾸는 방식이다. 재현 저장소는 모델을 다시 학습하거나 가중치를 수정하지 않았으며, 개입을 해제하면 원래 모델로 돌아간다고 기록했다.

◇ 유해 요청 100개에서 거부율 측정

유해 요청 100개를 비교한 재현에서 기본 모델은 90%를 거부했고, 뉴런 조정 모델은 8%를 거부했다. Qwen3Guard가 ‘Unsafe’로 분류한 응답은 기본 모델에서 1개, 조정 모델에서 96개였다. 수치는 재현 보고서에 담겼다.

보고서 작성자는 전체 생성 평가를 640회 진행했다고 밝혔다. 다만 거부율과 ‘Unsafe’ 판정 건수는 전체 평가가 아니라 유해 요청 100개 항목을 기준으로 한다.

같은 보고서의 별도 비교는 유해 요청 20개를 대상으로 했다. 14층 8949번 뉴런만 조정한 조건에서 거부율은 5%, ‘Unsafe’ 판정 비율은 100%였다.

13층 7956번 뉴런만 조정한 조건의 거부율은 90%였다. 작성자는 이 비교에서 14층 뉴런이 변화 대부분을 냈다고 해석했다. 표본이 20개인 별도 비교 결과인 만큼 100개 요청 실험과는 구분해 읽어야 한다.

◇ 다른 뉴런 표본과 안전성 검증의 한계

또 다른 재현은 11개 층에서 일부 뉴런과 대조군을 골라 180개 조건을 비교했다. 이 가운데 176개는 표본 조건, 4개는 기존 조정값 비교 조건이었다. 결과표에서 16층 8927번 뉴런 조정 조건은 생성 답변 100단어당 적대적 단어 12.5개를 기록했다.

같은 비교에서 기본 모델은 100단어당 0.7개, 14층 8949번 뉴런은 4.3개였다. 이 어휘 점수는 ‘Unsafe’ 판정 비율과 다른 지표이며, 모든 뉴런을 조사한 결과도 아니다.

모델 내부 신호와 거부 응답의 관계를 살핀 연구는 앞서도 있었다. 2024년 연구는 오픈웨이트 모델 13개에서 거부 반응을 특정 활성 방향과 연관 지었다.

앤스로픽(Anthropic)은 클로드의 ‘골든게이트 브리지’ 관련 내부 특징을 강화해 응답 주제를 바꾸는 실험을 공개했다. 이번 재현은 추상적인 활성 방향 대신 개별 MLP 뉴런을 조정해 텍스트 응답을 살폈다.

640회 평가를 다룬 보고서는 단일 모델과 단일 시드, 한 가지 생성 방식을 사용했다. 안전성 판정에는 큐원 계열 평가기가 쓰였고, 작성자가 직접 점검한 답변은 34개였다.

조정 강도를 높이면 문장 일관성도 달라졌다. 재현 결과에는 강도 1.5에서 문장이 무너지기 시작하고 2.0에서 반복 출력이 나타났다고 기록돼 있다.

이번 실험이 보여주는 것은 추론 중 내부 활성값을 조정했을 때 텍스트 응답이 달라질 수 있다는 점이다. 모델이 실제 시스템에 접근하거나 도구를 실행한 결과는 제시되지 않았다. 큐원3.5 계열의 로컬 구동 지원은 앞서 본지가 다룬 바 있다.