A desagregação prefill-decode do vLLM divide a inferência de LLM entre instâncias de engine, mas precisa transferir o cache KV entre elas. Este post apresenta um conector NIXL baseado em push que tira a coordenação da transferência do caminho crítico, entregando até 3x melhor TTFT e 30% melhor TPOT em benchmarks em instâncias Amazon EC2 P5en com AWS EFA.
news
Transferência KV baseada em push para melhorar TTFT e TPOT na inferência desagregada no vLLM
O desagregamento de prefill-decode do vLLM divide a inferência de LLM entre instâncias de mecanismo, mas precisa transferir o cache KV entre elas. Este post apresenta um conector NIXL baseado em push que move a coordenação de transferência para fora do caminho crítico, proporcionando até 3x melhor TTFT e 30% melhor TPOT em benchmarks em instâncias Amazon EC2 P5en com AWS EFA.