논문해외
진화하는 인프라: 대규모 에이전트 적응형 LLM 서빙
원제 · Evolving Infra: Agent-Adaptive LLM Serving at Scale
HF Daily Papers
에이전트 워크로드는 LLM 추론 수요의 주요 원인이다. 기존 사전 채우기-디코딩 분리 서빙 시스템은 런타임 연산 할당 및 KV 캐시 관리 유연성이 제한적이다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Agentic workloads are a major source of LLM inference demand. Existing prefill--decode (PD) disaggregated serving systems offer limited flexibility for runtime adaptation of compute allocation and KV…
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.