논문해외
온폴리시 증류가 허용하는 학습-추론 불일치 범위 연구
원제 · How Much Training-Inference Mismatch Can On-Policy Distillation Tolerate?
HF Daily Papers
온폴리시 증류의 비동기적 생성과 양자화 추론으로 발생하는 학습-추론 불일치가 모델 학습에 미치는 영향 수준을 평가한 연구다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
On-policy distillation (OPD) trains a student language model on its own responses, guided by a fixed teacher.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.