Die Prefill-Decode-Disaggregation von vLLM verteilt die LLM-Inferenz über Engine-Instanzen, muss aber den KV-Cache zwischen ihnen übertragen. Dieser Beitrag stellt einen push-basierten NIXL-Connector vor, der die Übertragungskoordination vom kritischen Pfad nimmt und in Benchmarks auf Amazon EC2 P5en-Instanzen mit AWS EFA bis zu 3x bessere TTFT und 30% bessere TPOT liefert.
news
Push-basierter KV-Transfer zur Verbesserung von TTFT und TPOT für disaggregierte Inferenz in vLLM
Die Prefill-Decode-Disaggregation von vLLM verteilt die LLM-Inferenz über Engine-Instanzen, muss aber den KV-Cache zwischen ihnen übertragen. Dieser Beitrag stellt einen push-basierten NIXL-Connector vor, der die Übertragungskoordination vom kritischen Pfad entfernt und in Benchmarks auf Amazon EC2 P5en-Instanzen mit AWS EFA bis zu 3x bessere TTFT und 30% bessere TPOT liefert.