多轮智能体工作负载在每一轮都会重新处理不断增长的对话上下文，从而推高延迟。了解双向 KV 缓存传输如何让预填充节点和解码节点跨轮次复用先前已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，将 Qwen3-32B 的首 token 时间最多缩短 1.6 倍，将 GLM-5-FP8 的首 token 时间最多缩短 3.3 倍。
news
在vLLM中通过双向KV传输改善多轮代理工作负载的TTFT
多轮智能体工作负载每轮都会重新处理不断增长的对话上下文，从而推高延迟。了解双向 KV 缓存传输如何让预填充和解码节点跨轮次复用先前已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，将 Qwen3-32B 的首 token 时间最多缩短 1.6 倍，将 GLM-5-FP8 的首 token 时间最多缩短 3.3 倍。