Mehrstufige agentische Workloads verarbeiten bei jeder Runde einen wachsenden Konversationskontext erneut, was die Latenz erhöht. Erfahren Sie, wie die bidirektionale KV-Cache-Übertragung es Prefill- und Decode-Knoten ermöglicht, zuvor berechneten Kontext über mehrere Runden hinweg wiederzuverwenden, wodurch die Zeit bis zum ersten Token um bis zu 1,6x für Qwen3-32B und 3,3x für GLM-5-FP8 auf Amazon EC2 P5en-Instanzen mit EFA reduziert wird.
news
Verbessere TTFT für mehrstufige agentische Workloads mit bidirektionaler KV-Übertragung in vLLM
Multi-Turn-Agentic-Workloads verarbeiten in jedem Turn einen wachsenden Konversationskontext erneut, was die Latenz erhöht. Erfahren Sie, wie die bidirektionale KV-Cache-Übertragung es Prefill- und Decode-Knoten ermöglicht, zuvor berechneten Kontext über mehrere Turns hinweg wiederzuverwenden, wodurch die Zeit bis zum ersten Token für Qwen3-32B um bis zu 1,6x und für GLM-5-FP8 um 3,3x auf Amazon EC2 P5en-Instanzen mit EFA reduziert wird.