Google, Red Hat und IBM haben llm-d 1.0 veröffentlicht, einen Open-Source-, Kubernetes-nativen Stack für verteilte LLM-Inferenz. Er fügt Multi-Tenant-Flow-Control, Zero-Downtime-Upgrades und agentenbewusstes Routing über vLLM, SGLang, TPUs und GPUs hinzu. Der Beitrag Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets erschien zuerst auf MarkTechPost .
news
Google Cloud liefert llm-d 1.0 mit cachebewusstem Routing für TPU- und GPU-Flotten aus
Google, Red Hat und IBM haben llm-d 1.0 veröffentlicht, einen Open-Source-, Kubernetes-nativen Stack für verteilte LLM-Inferenz. Er fügt mandantenfähige Flusskontrolle, Upgrades ohne Ausfallzeit und agentenbewusstes Routing über vLLM, SGLang, TPUs und GPUs hinzu. Der Beitrag Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets erschien zuerst auf MarkTechPost .