Google, Red Hat, IBM이 분산 LLM 추론을 위한 오픈소스 Kubernetes 네이티브 스택인 llm-d 1.0을 출시했습니다. 이 스택은 멀티테넌트 흐름 제어, 무중단 업그레이드, vLLM, SGLang, TPU, GPU 전반에 걸친 에이전트 인식 라우팅을 추가합니다. Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets 게시물은 MarkTechPost 에 처음 게재되었습니다.
news
Google Cloud, TPU 및 GPU 플릿을 위한 캐시 인식 라우팅을 갖춘 llm-d 1.0 출시
Google, Red Hat, IBM이 분산 LLM 추론을 위한 오픈소스 Kubernetes 네이티브 스택인 llm-d 1.0을 출시했습니다. 이 스택은 멀티테넌트 흐름 제어, 무중단 업그레이드, vLLM, SGLang, TPU, GPU 전반에 걸친 에이전트 인식 라우팅을 추가합니다. Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets 게시물은 MarkTechPost 에 처음 게재되었습니다.