vLLM 的預填充-解碼分離將 LLM 推論拆分到多個引擎實例上，但必須在這些實例之間傳輸 KV 快取。本文介紹一種基於推送的 NIXL 連接器，將傳輸協調移出關鍵路徑，在配備 AWS EFA 的 Amazon EC2 P5en 實例基準測試中，帶來最高 3 倍的 TTFT 改善與 30% 的 TPOT 改善。
news
在 vLLM 中，以推送為基礎的 KV 傳輸可改善分離式推論的 TTFT 與 TPOT
vLLM 的 prefill-decode 分離將 LLM 推論拆分到多個引擎執行個體上，但必須在它們之間傳輸 KV 快取。本文介紹一種基於推送的 NIXL 連接器，將傳輸協調移出關鍵路徑，在配備 AWS EFA 的 Amazon EC2 P5en 執行個體基準測試中，TTFT 提升最高達 3 倍，TPOT 提升 30%。