Việc tách rời prefill-decode của vLLM chia nhỏ suy luận LLM trên các phiên bản engine nhưng phải truyền KV cache giữa chúng. Bài viết này giới thiệu một connector NIXL dựa trên push, giúp đưa việc điều phối truyền tải ra khỏi đường dẫn tới hạn, mang lại TTFT tốt hơn tới 3 lần và TPOT tốt hơn 30% trong các bài benchmark trên các phiên bản Amazon EC2 P5en với AWS EFA.
news
Truyền KV dựa trên push để cải thiện TTFT và TPOT cho suy luận phân tách trong vLLM
Tính năng tách rời prefill-decode của vLLM chia tách suy luận LLM trên các phiên bản engine nhưng phải truyền KV cache giữa chúng. Bài viết này giới thiệu một connector NIXL dựa trên push, giúp đưa việc điều phối truyền tải ra khỏi đường dẫn tới hạn, mang lại TTFT tốt hơn tới 3 lần và TPOT tốt hơn 30% trong các bài benchmark trên các phiên bản Amazon EC2 P5en với AWS EFA.