La desagregación de prefill-decode de vLLM divide la inferencia de LLM entre instancias de motor, pero debe transferir la caché KV entre ellas. Esta publicación presenta un conector NIXL basado en push que saca la coordinación de transferencia de la ruta crítica, ofreciendo hasta 3x mejor TTFT y 30% mejor TPOT en benchmarks en instancias Amazon EC2 P5en con AWS EFA.
news
Transferencia KV basada en push para mejorar TTFT y TPOT en inferencia desagregada en vLLM
El desglose de prefill-decode de vLLM divide la inferencia de LLM entre instancias del motor, pero debe transferir la caché KV entre ellas. Esta publicación presenta un conector NIXL basado en push que saca la coordinación de transferencia de la ruta crítica, ofreciendo hasta 3 veces mejor TTFT y 30% mejor TPOT en benchmarks en instancias Amazon EC2 P5en con AWS EFA.