Google, Red Hat e IBM lançaram o llm-d 1.0, uma stack open-source nativa de Kubernetes para inferência distribuída de LLM. Ele adiciona controle de fluxo multi-tenant, atualizações sem downtime e roteamento com reconhecimento de agentes em vLLM, SGLang, TPUs e GPUs. O post Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets apareceu primeiro no MarkTechPost .
news
Google Cloud lança o llm-d 1.0 com roteamento com reconhecimento de cache para frotas de TPU e GPU
Google, Red Hat e IBM lançaram o llm-d 1.0, uma stack open-source nativa de Kubernetes para inferência distribuída de LLMs. Adiciona controlo de fluxo multi-inquilino, atualizações sem tempo de inatividade e encaminhamento com reconhecimento de agentes em vLLM, SGLang, TPUs e GPUs. O artigo Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets apareceu primeiro no MarkTechPost .