vLLM의 prefill-decode 분리는 LLM 추론을 여러 엔진 인스턴스에 걸쳐 나누지만, 그들 사이에서 KV 캐시를 전송해야 합니다. 이 글에서는 전송 조정을 핵심 경로에서 벗어나게 하는 푸시 기반 NIXL 커넥터를 소개하며, AWS EFA가 있는 Amazon EC2 P5en 인스턴스에서의 벤치마크에서 최대 3배 더 나은 TTFT와 30% 더 나은 TPOT를 제공합니다.
news
TTFT와 TPOT를 개선하기 위한 vLLM의 분리형 추론에서 푸시 기반 KV 전송
vLLM의 prefill-decode 분리는 LLM 추론을 엔진 인스턴스 간에 나누지만, 그들 사이에서 KV 캐시를 전송해야 합니다. 이 글은 전송 조정을 크리티컬 패스에서 벗어나게 하는 푸시 기반 NIXL 커넥터를 소개하며, AWS EFA가 있는 Amazon EC2 P5en 인스턴스에서의 벤치마크에서 최대 3배 더 나은 TTFT와 30% 더 나은 TPOT를 제공합니다.