La décomposition préremplissage-décodage de vLLM répartit l'inférence LLM sur plusieurs instances de moteur, mais doit transférer le cache KV entre elles. Cet article présente un connecteur NIXL basé sur le push qui retire la coordination des transferts du chemin critique, offrant jusqu'à 3x de meilleur TTFT et 30% de meilleur TPOT dans les benchmarks sur des instances Amazon EC2 P5en avec AWS EFA.
news
Transfert KV push pour améliorer le TTFT et le TPOT pour l'inférence désagrégée dans vLLM
La décomposition préremplissage-décodage de vLLM répartit l'inférence LLM sur plusieurs instances de moteur, mais doit transférer le cache KV entre elles. Cet article présente un connecteur NIXL basé sur le push qui retire la coordination des transferts du chemin critique, offrant jusqu'à 3x de meilleur TTFT et 30% de meilleur TPOT dans les benchmarks sur les instances Amazon EC2 P5en avec AWS EFA.