GPT는 얼마나 기억할까… 파라미터당 3.6비트로 계산된 'AI의 기억력'

거대언어모델(LLM)이 과연 훈련 데이터 중 얼마나 많은 정보를 단순히 기억하는지를 두고 AI 연구자들 사이에서도 논쟁이 이어져 왔다. 수조 개 단어로 구성된 방대한 데이터셋으로 학습되는 이들 모델이 실제로는 데이터 패턴을 일반화해 이해하는 것인지, 아니면 특정 정보를 거의 그대로 암기해 두는 것인지에 대한 질문은 기술적·법적 관점 모두에서 중요한 의미를 가진다.

메타, 구글 딥마인드, 엔비디아(NVDA), 코넬대학교 공동 연구팀은 최근 이와 같은 궁금증에 정량적 답을 제시하는 연구 결과를 공개했다. 이들은 GPT 계열 구조를 기반으로 한 언어모델이 학습 과정에서 각 파라미터당 평균 3.6비트 가량의 정보를 기억한다고 분석했다. 이는 모델이 단순 복사 대신 개념을 일반화한다는 기존 통념에 근거한 교육 시스템을 정량적으로 입증한 첫 사례로 평가받는다.

연구진은 모델을 임의의 비트 문자열로 구성된 데이터셋으로 훈련시켰다. 자연어의 문법이나 의미적 중복성이 전혀 없는 순수한 랜덤 데이터를 활용한 이유는, 모델이 결과를 재현할 경우 그것이 '기억' 때문이라는 점을 분명히 하기 위해서다. 일반화가 불가능한 환경에서 모델이 얼마나 많은 정보를 보존하는지를 측정하면, 그 자체로 모델의 순수 기억 용량을 추정할 수 있다는 논리다.

실험 결과는 구조와 크기가 다르더라도 대부분의 모델에서 메모리 용량이 일정하게 수렴한다는 것을 보여줬다. 훈련에 사용한 파라미터 수가 50만 개에서 15억 개까지 다양했지만, 모델은 반복적으로 파라미터당 약 3.6비트의 정보를 기억하는 것으로 나타났다. 이 수치는 일반 텍스트의 단어 하나나 글자 하나를 완전히 재현하기에는 부족한 양이며, 대신 여러 예시에서 공통된 패턴을 추론하는 형태로 지식을 구성한다는 점을 뒷받침한다.

관심을 끈 또 다른 발견은 데이터 양이 늘어날수록 모델이 '더 적게' 기억한다는 점이다. 이는 기억 용량이 고정돼 있는 상태에서 더 많은 표본에 그 용량이 분산되기 때문이다. 연구를 이끈 잭 모리스는 SNS를 통해 "더 큰 데이터셋은 샘플별 기억 발생 확률을 낮춘다"고 설명했다. 이는 저작권 침해 논란과도 밀접하게 연결된다. 특정 입력을 거의 그대로 출력하는 경우 저작권 위반이 될 수 있는데, 이 같은 연구 결과는 "모델은 출력의 재현보다는 일반화 중심"이라는 주장을 뒷받침할 법적 기반이 될 수 있다.

다만 모든 데이터가 균등하게 처리되는 것은 아니다. 연구팀 역시 특이하거나 유일한 글쓰기 스타일, 창의적인 표현 등 일부 입력 데이터는 여전히 기억될 가능성이 높다고 인정했다. 이번 연구는 평균적인 모델 거동을 측정하는 데 초점을 둔 것으로, 극단적 예외 상황까지 포착할 수 있는 설계는 아니기 때문이다.

모델 정확도와 메모리 용량의 관계도 주목할 만하다. 일반적으로 사용되는 반정밀도(bfloat16) 대신 정밀도 높은 float32를 사용할 경우 파라미터당 기억 용량이 평균 3.83비트로 소폭 증가하는 결과가 나타났다. 하지만 이는 사용한 비트 수가 두 배로 늘어난 경우 기대되는 증가치보다는 낮은 수준이라, 정밀도가 성능 향상에 미치는 효과가 일정 한계에 이른다는 암시로 해석된다.

이번 연구는 언어모델의 '기억' 능력에 대한 보다 선명한 개념 틀을 제시하고, 개발자들이 모델 설계나 법적 책임 문제를 판단하는 데 실질적인 기준점을 제공한다. 특히 기업들이 생성형 AI의 반복적 출력 때문에 불필요한 법적 분쟁에 휘말릴 위험을 줄이는 데 도움을 줄 수 있다는 점에서, 기술적·윤리적·법적 측면 모두에서 의미 있는 기여로 평가된다.