Les charges de travail agentiques multi-tours retraitent un contexte de conversation croissant à chaque tour, ce qui augmente la latence. Découvrez comment le transfert bidirectionnel du cache KV permet aux nœuds de prefill et de decode de réutiliser le contexte précédemment calculé d'un tour à l'autre, réduisant le temps jusqu'au premier token jusqu'à 1,6x pour Qwen3-32B et 3,3x pour GLM-5-FP8 sur les instances Amazon EC2 P5en avec EFA.
news
Améliorer le TTFT pour les charges de travail agentiques multi-tours avec un transfert KV bidirectionnel dans vLLM
Les charges de travail agentiques multi-tours retraitent un contexte de conversation croissant à chaque tour, ce qui augmente la latence. Découvrez comment le transfert bidirectionnel du cache KV permet aux nœuds de prefill et de decode de réutiliser le contexte précédemment calculé d'un tour à l'autre, réduisant le temps jusqu'au premier token jusqu'à 1,6x pour Qwen3-32B et 3,3x pour GLM-5-FP8 sur les instances Amazon EC2 P5en avec EFA.