1.56% 기록한 GPT-4o-mini 개인정보 판단 정확도

GPT-4o-mini가 다른 대화의 정보를 먼저 가져와 요청을 해결하도록 학습한 한 미세조정 실험에서 문맥상 개인정보 공유 판단 정확도가 84.18%에서 1.56%로 낮아졌다.

연구 결과는 ‘Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models’라는 제목으로 2026년 7월 ACL 2026 논문집에 실렸다. 저자 소속 목록에는 UC Berkeley가 포함되지 않았다.

논문은 2026년 1월 21일 arXiv에 처음 공개됐다. 이후 ACL 2026 논문집에 수록됐다.

연구진이 말하는 문맥상 개인정보 판단은 모델이 정보를 기억하거나 재현하는 능력과 다르다. 모델이 접근할 수 있는 정보라도 현재 대화의 상대와 목적을 고려해 공유해도 되는지 판단하는 능력을 뜻한다.

논문은 비자 갱신 이메일을 작성해 달라는 요청에 AI가 과거 대화에서 알게 된 가족의 상속 분쟁과 입양 정보를 끼워 넣는 사례를 들었다. 정보에 접근할 수 있다는 사실만으로 현재 요청에 그 정보를 써도 된다고 볼 수는 없다는 취지다.

연구진은 GPT-4.1, GPT-4.1-mini, GPT-4o, GPT-4o-mini, GPT-3.5-turbo, Llama-3-8B 등 6개 모델에 표준 지도 미세조정을 적용했다. 미세조정에는 5개 데이터셋을 사용했다.

평가는 PrivacyLens와 CIMemories라는 두 기준으로 진행됐다. PrivacyLens에는 문맥에 맞는 정보 공유 판단을 요구하는 493개 시나리오가 포함됐다.

핵심 통제 실험에서는 같은 요청을 해결하되 다른 맥락의 정보를 쓰기 전 사용자에게 확인하는 데이터와, AI가 관련 정보를 먼저 가져오는 데이터를 비교했다. 두 조건은 정보 접근을 모델이 얼마나 자율적으로 하는지에 차이를 뒀다.

정보를 먼저 가져오도록 학습한 GPT-4o-mini는 미세조정 뒤 PrivacyLens에서 1.56%를 기록했다. 논문 본문이 제시한 98.1%는 미세조정 전 정확도와 비교한 상대 하락률이다. 실제 개인정보 유출률이나 모든 미세조정의 결과를 뜻하지 않는다.

같은 통제 실험에서 정보를 사용하기 전에 확인을 구하도록 학습한 GPT-4o-mini는 82.59%를 기록했다. 두 결과는 특정 데이터 구성과 평가 시나리오에서 나온 수치다.

별도의 데이터 실험에서는 공감 대화 데이터로 미세조정한 GPT-4o-mini와 GPT-4.1-mini의 PrivacyLens 상대 정확도가 각각 24.3%, 20.4% 하락했다. 고객 지원 대화 데이터에서는 두 모델의 하락률이 각각 17.1%, 18.9%였다. 수학 문제 데이터인 GSM8K 조건에서는 유의미한 하락이 나타나지 않았다.

공감 대화·고객 지원 데이터 실험에서 개인정보 평가가 나빠지는 동안 연구진이 사용한 AgentHarm 안전성 평가의 변화는 최대 2%였다. CommonSenseQA 일반 능력은 유지되거나 개선됐다. 이는 해당 연구의 모델과 데이터, 평가 기준에 한정된 결과다.

연구진은 데이터 선별과 통제 데이터를 활용하는 방법도 시험했다. 개인정보 판단을 악화시키는 공감 대화 샘플 하위 10%를 제외하자 GPT-4o-mini의 상대 하락률은 24.3%에서 14.9%로 줄었다. 통제 데이터를 절반 섞은 실험에서는 하락률이 98.1%에서 65.0%로 낮아졌지만 사라지지는 않았다.

연구진은 일반 안전성 평가에 문맥상 개인정보 판단을 별도로 포함하고 미세조정 데이터를 점검할 필요가 있다고 제안했다.

이번 연구는 영어 중심 데이터와 표준 지도 미세조정, 두 가지 개인정보 평가 기준에 한정됐다. 강화학습 미세조정과 DPO, 지속학습에서 같은 현상이 나타나는지, 실제 기업 배포 환경에서도 같은 결과가 발생하는지는 검증하지 않았다.