Google, Red Hat e IBM lanzaron llm-d 1.0, una pila de código abierto nativa de Kubernetes para la inferencia distribuida de LLM. Añade control de flujo multiinquilino, actualizaciones sin tiempo de inactividad y enrutamiento con reconocimiento de agentes en vLLM, SGLang, TPUs y GPUs. La publicación Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets apareció primero en MarkTechPost .
news
Google Cloud lanza llm-d 1.0 con enrutamiento consciente de la caché para flotas de TPU y GPU
Google, Red Hat e IBM lanzaron llm-d 1.0, una pila de código abierto nativa de Kubernetes para la inferencia distribuida de LLM. Añade control de flujo multiinquilino, actualizaciones sin tiempo de inactividad y enrutamiento con reconocimiento de agentes en vLLM, SGLang, TPUs y GPUs. La publicación Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets apareció primero en MarkTechPost .