논문해외
불확실한 디코딩 단계에서 가중치 비트를 올리는 Precision on Demand 연구
원제 · Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
HF Daily Papers
8비트 가중치를 저장하고 상위 4비트로 디코딩하다가 저정밀도 출력 분포가 불확실할 때만 8비트로 재시도하는 소형 로컬 모델 디코딩 방식을 연구한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Local decoding usually fixes one weight precision for the whole generation. We study a different allocation: store 8-bit weights, decode with their top 4 bits, and redo a step at 8 bits only when the…
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.