Las cargas de trabajo agénticas de múltiples turnos reprocesan un contexto de conversación creciente en cada turno, lo que aumenta la latencia. Descubre cómo la transferencia bidireccional de caché KV permite que los nodos de prefill y decode reutilicen el contexto calculado previamente entre turnos, reduciendo el tiempo hasta el primer token hasta 1.6x para Qwen3-32B y 3.3x para GLM-5-FP8 en instancias Amazon EC2 P5en con EFA.
news
Mejora el TTFT para cargas de trabajo agénticas de múltiples turnos con transferencia KV bidireccional en vLLM
Las cargas de trabajo agénticas de múltiples turnos reprocesan un contexto de conversación creciente en cada turno, lo que aumenta la latencia. Descubre cómo la transferencia bidireccional de caché KV permite que los nodos de prefill y decode reutilicen el contexto previamente calculado entre turnos, reduciendo el tiempo hasta el primer token hasta 1.6x para Qwen3-32B y 3.3x para GLM-5-FP8 en instancias Amazon EC2 P5en con EFA.