[메타콘 2026] 틱톡 "범용 모델은 시작일 뿐"...서비스 위한 AI 최적화가 관건

틱톡(TikTok)은 AI 경쟁의 핵심은 거대한 모델 자체가 아니라 실제 서비스 환경에 맞게 최적화해 운영하는 능력이라고 강조했다. 범용 AI 모델은 출발점일 뿐이며, 산업별 특성에 맞춘 모델 최적화와 지속적인 운영 개선이 AI 경쟁력을 좌우한다고 설명했다.

3일 토큰포스트가 공동 주관한 국내 대표 AI 컨퍼런스 '메타콘 2026'에서 댄 섭브라마니 틱톡 글로벌 비즈니스 솔루션 총괄(VP)은 'TikTok이 AI 시대의 시장을 어떻게 움직이는가'를 주제로 발표했다.

댄 VP는 실제 서비스를 운영하며 얻은 가장 큰 교훈으로 "범용 모델은 출발점일 뿐 끝이 아니다"를 꼽았다. 그는 서비스에서는 거대한 모델 하나를 그대로 사용하는 것보다 목적에 맞게 최적화하는 과정이 더 중요하다며 해결하려는 과제마다 필요한 모달리티와 모델이 달라지는 만큼 하나의 모델로 모든 문제를 해결하려는 접근에는 한계가 있다고 설명했다.

그는 "연구 모델은 정확도를 최대화하는 것이 목표지만 실제 서비스에서는 다양한 입력 데이터와 초당 수천 건의 요청(QPS), 적대적 공격, 도메인 특화 문제까지 모두 고려해야 한다"고 말했다.

이어 "틱톡에서도 공개 모델이나 범용 모델을 그대로 적용하면 원하는 성능이 나오지 않는 경우가 많다"며 "서비스 환경에 맞춰 모델을 최적화하고 양자화 등을 통해 실제 비즈니스 요구사항을 만족하도록 개선한다"고 설명했다.

좋은 모델보다 중요한 건 최적화

이 같은 최적화를 위해 틱톡은 대형 '교사(Teacher)' 모델과 경량 '학생(Student)' 모델 구조를 활용하고 있다고 소개했다. 교사 모델은 실제 환경을 가장 정확하게 이해하지만 속도가 느리고 비용이 많이 드는 만큼, 교사 모델이 학습한 지식을 학생 모델에 전달해 실제 서비스에 적용한다는 설명이다.

범용 모델을 교사 모델로 활용한 뒤 ▲특징 증류(Feature Distillation) ▲소프트 러닝(Soft Learning) ▲작업별 미세조정(Task-specific Fine-tuning) 등을 거쳐 학생 모델을 구축한다면서 "학생 모델은 교사 모델 수준의 성능에 근접하면서도 실제 서비스에서는 약 10~15배 저렴하게 운영할 수 있다"고 말했다.

댄 VP는 "오픈소스(Open Source) 모델과 클로즈드(Closed) 모델만으로는 실제 서비스에 적용하기 어렵다"면서 "서비스와 산업에 맞는 도메인 특화 작업이 반드시 필요하며 파인튜닝, 강화학습, 검색증강생성(RAG) 등을 통해 서비스 수준의 품질을 확보해야 한다"고 설명했다.

이밖에 ▲대형 모델의 성능을 경량 모델로 이전하는 지식 증류(Knowledge Distillation) ▲해결하려는 과제에 따라 텍스트·음성·이미지 등 적합한 모달리티와 모델을 선택하는 방식 ▲지연시간과 비용을 고려한 인프라 제약 등이 실제 서비스 구현의 핵심 요소라고 설명했다.

특히 인프라 측면에서는 모델 압축(Model Compression), 지식 증류, 하드웨어 가속(Hardware Acceleration) 등을 함께 고려해야 한다고 덧붙였다. 또한 "온라인 테스트만이 유일한 검증 방법"이라며 "공개 데이터셋에서 좋은 성능을 보여도 실제 서비스에서는 결과가 달라질 수 있기 때문에 반드시 A/B 테스트를 거쳐야 한다"고 말했다.

AI, 아직 해결할 과제 많다

앞으로 해결돼야 할 AI 기술 과제로는 ▲지속 학습(Continual Learning) ▲장문 맥락 이해(Long Context Vision) ▲논리적 추론(Logical Reasoning) ▲에이전트 AI 확장성 ▲설계 단계부터 규제 준수(Compliance by Design) ▲멀티모달 추론(Multimodal Reasoning) 등 여섯 가지를 제시했다.

그는 "서비스 환경과 사용자 행동은 계속 변하기 때문에 모델도 지속적으로 업데이트해야 한다"며 긴 영상과 장문 문서를 처리하는 능력, 환각 문제, 여러 에이전트가 협업하는 시스템, 국가별 AI 규제 대응, 공간과 시간 정보를 함께 이해하는 멀티모달 추론 등은 앞으로도 해결해야 할 과제라고 말했다.

메타콘 2026은 토큰포스트가 공동 주관하는 AI 컨퍼런스로, 7월 3~4일 서울 코엑스 그랜드볼룸에서 열린다. "AI Makers Rise"를 주제로 AI 시대를 이끄는 기업과 빌더들의 전략과 실행 경험을 공유하며, AI 기술과 엔터프라이즈 혁신, 마케팅, 투자까지 아우르는 확장된 프로그램을 통해 AI가 만들어갈 새로운 산업과 일의 변화를 조망하는 자리다.