구글 연구진, AI 대화 분류서 임베딩 제외…보호는 문서 단위

구글 연구진이 임베딩 기반 군집화 없이 생성형 인공지능(AI) 대화의 주제를 분류하는 방법을 제안했다. 키워드 집계에 차등 프라이버시를 적용하지만, 논문이 제시한 보호 단위는 문서 한 건이다.

에디스 코언(Edith Cohen) 등 구글 리서치(Google Research)·구글(Google)·구글 딥마인드(Google DeepMind) 소속 연구진은 21일(한국시간) arXiv에 CALLIOPE 논문을 공개했다. 논문은 비정형 문서에서 상위·하위 주제 체계를 만드는 절차와 평가 결과를 담았다.

기존의 임베딩 기반 방식은 문장을 숫자 벡터로 바꾼 뒤 의미가 비슷한 자료끼리 군집화한다. CALLIOPE는 이 벡터 군집화 단계 없이 LLM을 활용해 문서 요약과 키워드, 주제 분류를 수행한다.

먼저 LLM이 각 문서의 요약과 키워드를 만든다. 이후 키워드 빈도를 집계해 주제 체계를 제안하고, 각 요약을 해당 주제에 배정한다. 이 과정을 반복하면 큰 주제 아래에 세부 주제가 구성된다.

차등 프라이버시는 주제 체계를 만드는 키워드 집계 단계에 들어간다. 연구진은 키워드 빈도에 잡음을 더하고 드물게 나타나는 항목을 걸러, 특정 문서의 내용이 공개 결과에 미치는 영향을 제한하도록 설계했다.

보호 강도를 높이면 주제 분류가 더 넓고 거칠어질 수 있다. 연구진은 프라이버시 설정을 강화할 때 분류 품질이 급격히 떨어지는 현상을 기존 임베딩 기반 방식보다 줄일 수 있다고 설명했다.

다만 논문에서 현재 제시한 보장 단위는 대화 문서 한 건이다. 한 사람이 여러 차례 남긴 대화 전체를 보호하는 개인 단위 차등 프라이버시는 추가 연구가 필요하다고 논문은 밝혔다.

앞서 구글 리서치는 2025년 12월 10일 URANIA를 소개하면서 대화를 임베딩으로 변환한 뒤 차등 프라이버시를 적용해 군집화하고, 키워드 추출과 LLM 요약을 거치는 구조를 설명했다. 구글 리서치 설명은 요약 단계에서 LLM이 원본 대화 대신 비공개 처리된 키워드를 사용한다고 밝혔다.

CALLIOPE는 주제 분류 과정에서 벡터 군집화를 빼고 요약과 키워드 집계를 중심에 뒀다. 그러나 임베딩을 쓰지 않는다는 말이 원본 대화를 LLM에 전달하지 않는다는 뜻은 아니다.

연구진은 다국어 발화 자료 MASSIVE, 은행 고객 문의 자료 Banking77, 영화 리뷰와 뉴스 문서 등을 포함한 6개 데이터셋에서 CALLIOPE를 CLIO·URANIA와 비교했다. 논문은 데이터셋별로 분류 결과와 주제 설명의 품질을 여러 지표로 평가했다.

연구진은 CALLIOPE가 URANIA보다 정답 범주와의 일치도를 평가하는 NMI·ARI 지표와 일부 주제 평가에서 나은 결과를 냈다고 보고했다. 군집 내부 구조를 보는 지표에서는 URANIA와 비슷하거나 더 나은 결과를 냈다.

논문 부록은 Gemini 3.5 Flash를 사용한 최대 깊이의 비차등 프라이버시 설정에서 MASSIVE 데이터셋의 토큰 사용량을 CALLIOPE 5억7600만 토큰, URANIA 1억2300만 토큰으로 제시했다. 이는 해당 실험 설정의 수치다. 논문 토큰 사용량 표

논문은 문서마다 LLM을 여러 차례 실행해야 하는 점을 계산 비용 측면의 한계로 들었다. 따라서 토큰 사용량은 실제 서비스의 운영 비용이나 처리 속도를 그대로 나타내는 수치는 아니다.

원본 문서는 첫 단계에서 LLM에 입력돼 요약과 키워드로 변환된다. 공개되는 주제 결과에 대한 차등 프라이버시 보장과 원본 대화의 수집·저장·모델 처리 과정에서의 보호는 별개의 문제다.

평가는 실제 AI 서비스의 비공개 대화 로그가 아니라 6개 데이터셋을 대상으로 이뤄졌다. 이번 연구는 주제 분류 방법과 개인정보 보호 범위를 제시했으며, 실제 서비스 적용 결과를 다루지는 않았다.