Google、Red Hat 和 IBM 发布了 llm-d 1.0，这是一个用于分布式 LLM 推理的开源 Kubernetes 原生技术栈。它新增了多租户流控制、零停机升级以及跨 vLLM、SGLang、TPU 和 GPU 的智能体感知路由。文章 Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets 首次发布于 MarkTechPost 。
news
Google Cloud 发布 llm-d 1.0，为 TPU 和 GPU 集群提供缓存感知路由
Google、Red Hat 和 IBM 发布了 llm-d 1.0，这是一个用于分布式 LLM 推理的开源 Kubernetes 原生技术栈。它新增了多租户流控制、零停机升级以及跨 vLLM、SGLang、TPU 和 GPU 的智能体感知路由。文章 Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets 首次出现在 MarkTechPost 上。