논문해외
프롬프트 적응형 및 비용 인지형 LLM 추론을 위한 앙상블 라우팅
원제 · Ensemble Routing for Prompt-Adaptive Cost-Aware LLM Inference
HF Daily Papers
응답 품질과 추론 비용의 균형을 맞추기 위해 요청에 따라 앙상블 구성 및 비용을 유연하게 조정하는 기술을 제안한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Large language models (LLMs) increasingly support Web-based services that must balance response quality and inference cost across heterogeneous requests.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.