多輪代理式工作負載在每一輪都會重新處理不斷增長的對話上下文，導致延遲上升。了解雙向 KV 快取傳輸如何讓 prefill 與 decode 節點在多輪之間重複使用先前已計算的上下文，在配備 EFA 的 Amazon EC2 P5en 執行個體上，將 Qwen3-32B 的首個權杖時間最多縮短 1.6 倍，GLM-5-FP8 則最多縮短 3.3 倍。
news
改善 vLLM 中多輪代理工作負載的 TTFT，並透過雙向 KV 傳輸實現
多輪代理式工作負載每一輪都會重新處理不斷增長的對話上下文，導致延遲上升。了解雙向 KV 快取傳輸如何讓 prefill 與 decode 節點跨輪重複使用先前已計算的上下文，在配備 EFA 的 Amazon EC2 P5en 執行個體上，將 Qwen3-32B 的首個權杖時間最多縮短 1.6 倍，GLM-5-FP8 則最多縮短 3.3 倍。