DeepSeek, 대규모 모델 학습 안정성 위한 'mHC' 아키텍처 논문 발표

암호화폐 기술 전문 매체 PANews에 따르면, 딥러닝 연구 조직 DeepSeek은 1월 1일 대규모 AI 모델의 학습 안정성과 확장성 문제를 해결하기 위한 새로운 아키텍처 ‘Manifold Constrained Hyperconnectivity(mHC)’를 제안하는 논문을 발표했다. 이 논문은 기존 Hyperconnected Networks(HC) 구조에서 발생하는 항등 매핑 속성 위반으로 인한 학습 불안정 문제를 지적하며, 이를 개선하기 위해 HC의 잔여 연결 공간을 특정 매니폴드로 제한해 항등 매핑 속성을 복원하는 방식의 mHC 구조를 도입했다. 또한 인프라 효율성을 고려한 최적화 기술도 함께 적용해 모델 성능과 확장성을 크게 향상시켰다는 설명이다. DeepSeek은 mHC가 향후 AI 모델 토폴로지 설계에 기여하고 기본 모델 발전에 있어 유망한 방향성을 제시할 수 있을 것으로 기대된다고 밝혔다. 해당 논문은 Liang Wenfeng, Zhenda Xie, Yixuan Wei, Huanqi Cao 등이 공동 저자로 참여했다.