Google, Red Hat và IBM đã phát hành llm-d 1.0, một ngăn xếp Kubernetes-native mã nguồn mở cho suy luận LLM phân tán. Nó bổ sung điều khiển luồng đa người thuê, nâng cấp không gián đoạn và định tuyến nhận biết tác nhân trên vLLM, SGLang, TPU và GPU. Bài viết Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets xuất hiện đầu tiên trên MarkTechPost .
news
Google Cloud ra mắt llm-d 1.0 với định tuyến nhận biết bộ nhớ đệm cho các cụm TPU và GPU
Google, Red Hat và IBM đã phát hành llm-d 1.0, một ngăn xếp mã nguồn mở gốc Kubernetes cho suy luận LLM phân tán. Nó bổ sung điều khiển luồng đa người thuê, nâng cấp không gián đoạn và định tuyến nhận biết tác nhân trên vLLM, SGLang, TPU và GPU. Bài viết Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets xuất hiện đầu tiên trên MarkTechPost .