Google、Red Hat、IBMは、分散LLM推論向けのオープンソースでKubernetesネイティブなスタックであるllm-d 1.0をリリースした。これにより、マルチテナントのフロー制御、ゼロダウンタイムアップグレード、およびvLLM、SGLang、TPU、GPUにわたるエージェント対応ルーティングが追加される。投稿Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU FleetsはMarkTechPostで最初に公開された。
news
Google Cloud、TPUとGPUフリート向けのキャッシュ対応ルーティングを備えたllm-d 1.0を出荷
Google、Red Hat、IBMが、分散LLM推論向けのオープンソースでKubernetesネイティブなスタックであるllm-d 1.0をリリースした。これにより、マルチテナントのフロー制御、ゼロダウンタイムアップグレード、vLLM、SGLang、TPU、GPUにわたるエージェント対応ルーティングが追加される。投稿「Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets」はMarkTechPostで最初に公開された。