Buoyant Releases Kinference: An Open Source Inference Control Plane for Kubernetes and vLLM

#오픈소스 모델

Buoyant has released Kinference, an Apache 2.0 inference control plane for vLLM on Kubernetes.

원문의 저작권은 MarkTechPost에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.