Google、Red Hat 與 IBM 發布 llm-d 1.0，這是一套用於分散式 LLM 推論的開源 Kubernetes 原生堆疊。它新增了多租戶流量控制、零停機升級，以及橫跨 vLLM、SGLang、TPU 與 GPU 的代理感知路由。文章 Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets 最早出現於 MarkTechPost 。
news
Google Cloud 推出 llm-d 1.0，為 TPU 與 GPU 機群提供快取感知路由
Google、Red Hat 與 IBM 發布了 llm-d 1.0，這是一套開源、Kubernetes 原生的分散式 LLM 推論堆疊。它新增了多租戶流量控制、零停機升級，以及橫跨 vLLM、SGLang、TPU 與 GPU 的代理感知路由。文章《Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets》最初刊登於 MarkTechPost。