Google, Red Hat et IBM ont publié llm-d 1.0, une pile open source native de Kubernetes pour l'inférence LLM distribuée. Elle ajoute un contrôle de flux multi-tenant, des mises à niveau sans interruption et un routage tenant compte des agents sur vLLM, SGLang, TPU et GPU. L'article Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets est apparu en premier sur MarkTechPost .
news
Google Cloud livre llm-d 1.0 avec un routage tenant compte du cache pour les flottes de TPU et de GPU
Google, Red Hat et IBM ont publié llm-d 1.0, une pile open source native Kubernetes pour l'inférence LLM distribuée. Elle ajoute un contrôle de flux multi-tenant, des mises à niveau sans interruption et un routage tenant compte des agents sur vLLM, SGLang, TPU et GPU. L'article Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets est apparu en premier sur MarkTechPost .