논문해외
LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
HF Daily Papers
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch size and throughput.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.