논문해외
SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
HF Daily Papers
Speculative decoding (SD) accelerates large language model inference by reducing the sequential cost of token-by-token generation.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.