구글 딥마인드가 밝힌 AI 학습법 해답…ICL이 파인튜닝보다 뛰어난 이유

거대언어모델(LLM)을 사용자 정의하는 방식으로 널리 쓰이는 파인튜닝(fine-tuning)과 인컨텍스트 러닝(in-context learning, ICL) 중 어느 쪽이 더 효과적인지에 대해 구글 딥마인드와 스탠퍼드대 연구진이 흥미로운 해답을 제시했다. 연구 결과에 따르면, ICL은 추론 과정에서 계산량이 더 많이 소요됨에도 불구하고 더 뛰어난 일반화 성능을 보였으며, 두 접근법의 장점을 결합하는 새로운 방식까지 제안됐다.

이번 연구는 LLM을 기업 맞춤형 데이터에 최적화할 때의 효율성과 확장 가능성을 평가하는 데 실질적 도움을 줄 전망이다. 특히, 독점적이고 구조화된 사내 정보에 최적화된 LLM을 개발하고자 하는 기업에게 중요한 인사이트로 작용할 수 있다.

기존 파인튜닝 방식은 사전 학습된 모델을 특정 과제로 추가 학습시켜 내부 파라미터를 조정하는 방식이다. 반면 ICL은 별도의 학습이 아닌 입력 프롬프트 내 예시를 통해 모델이 스스로 규칙을 학습하도록 유도한다. 파라미터는 바꾸지 않지만 그 자리에서 주어진 맥락을 활용한 학습이 가능하다는 점이 특징이다.

연구진은 관측 효과를 명확히 검증하기 위해 복잡하지만 자가일관성이 있는 합성 데이터셋을 구성했다. 데이터셋은 완전히 허구의 단어와 구조로 구성돼 사전학습 데이터와의 중복 가능성을 없앴고, 이를 통해 LLM이 완전히 새로운 맥락에 대해 어떻게 일반화하는지를 테스트할 수 있었다. 예컨대 “프렘은 글론보다 위험하다”라는 문장을 학습한 모델이 “글론은 프렘보다 위험하지 않다”라는 역관계를 유의미하게 도출할 수 있는지를 실험했다.

테스트 결과, 파인튜닝보다는 ICL을 활용한 모델이 역관계 추론이나 단순 연역 같은 지적 작업에서 더 나은 일반화 성능을 보였다. 별도 학습 없이 제공된 예제 맥락만으로도 더 다양한 상황에 대응할 수 있음을 시사한다. 그러나 ICL은 매번 입력 프롬프트에 풍부한 정보를 함께 제공해야 하기에 실행 단가가 높다.

이에 연구진은 두 접근법을 결합한 ‘증강형 파인튜닝(augmented fine-tuning)’이라는 새로운 전략을 제안했다. ICL을 활용해 모델이 스스로 다양한 논리적인 추론 결과를 만들어내고, 이 데이터를 다시 파인튜닝에 사용함으로써 일반화 성능을 강화하겠다는 구상이다. 이 전략은 단발성 ICL 사용과 다르게, 학습을 통해 일반화 능력을 모델 내부로 통합한다.

증강형 파인튜닝에서는 로컬 방식과 글로벌 방식 두 가지 데이터 생성 전략이 활용됐다. 로컬 전략은 단일 문장을 기반으로 유사 문장이나 역관계를 생성하고, 글로벌 전략은 전체 데이터셋을 기반으로 개별 정보 간 연결 추론을 생성하는 방식이다. 실험 결과, 이 전략은 전통적인 파인튜닝과 ICL 모두를 능가하는 성능 개선 효과를 보였다.

기업 내부 문서에서 “XYZ는 데이터 분석용 내부 툴이다”라는 정보를 학습한 모델이 “우리 회사의 데이터 분석용 내부 툴은 무엇인가?”라는 질문을 정확히 처리하는 능력을 보인 것도 그 사례 중 하나다. 이는 산업 현장에서 LLM 응용 모델이 더 넓은 문맥을 이해하고 현실적인 질문에 유연하게 대응할 수 있도록 하는 데 핵심 역할을 한다.

다만 이처럼 증강학습과 파인튜닝을 함께 쓰는 방식은 학습 단계에서의 비용이 증가한다. ICL을 통해 데이터를 추가 생성해야 하고, 해당 데이터를 다시 학습시키는 과정이 필요하기 때문이다. 그러나 연구진은 이러한 비용은 매번 ICL을 사용하는 방식에 비해 장기적으로는 더 경제적일 수 있다고 평가했다.

향후 이 연구는 다양한 모델과 설정에서 추가 검증이 필요하지만, 연구를 이끈 구글 딥마인드의 앤드류 램피넨은 “이러한 증강형 파인튜닝은 순수 파인튜닝만으로 성능이 미흡한 경우 유의미한 대안을 제공할 수 있을 것”이라고 강조했다.

연구진은 이번 결과를 토대로 LLM의 학습과 일반화 원리를 과학적으로 이해하고, 현장에 적용 가능한 최적화 전략 수립에 기여하길 기대하고 있다. 실제 기업 AI 전략에서도, 단순한 모델 구축을 넘어 장기적인 운영 효율성과 품질 확보를 위해 고려해야 할 핵심 이슈로 자리 잡을 가능성이 크다.