vLLM 的预填充-解码分离将 LLM 推理拆分到多个引擎实例上，但必须在它们之间传输 KV 缓存。本文介绍一种基于推送的 NIXL 连接器，它将传输协调移出关键路径，在配备 AWS EFA 的 Amazon EC2 P5en 实例基准测试中，TTFT 最高提升 3 倍，TPOT 提升 30%。
news
基于推送的KV传输，以改善vLLM中分离式推理的TTFT和TPOT
vLLM的预填充-解码分离将LLM推理拆分到多个引擎实例上，但必须在它们之间传输KV缓存。本文介绍一种基于推送的NIXL连接器，它将传输协调移出关键路径，在配备AWS EFA的Amazon EC2 P5en实例基准测试中，实现高达3倍的TTFT提升和30%的TPOT提升。