논문해외
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
HF Daily Papers
Self-distillation methods for large language models with an exponential moving average (EMA) teacher already retain a history of student updates.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.