vLLMのprefill-decode分離は、LLM推論をエンジンインスタンス間に分割しますが、それらの間でKVキャッシュを転送する必要があります。この記事では、転送の調整をクリティカルパスから外すプッシュベースのNIXLコネクタを紹介します。AWS EFAを備えたAmazon EC2 P5enインスタンスでのベンチマークでは、TTFTが最大3倍、TPOTが30%改善されます。
news
vLLMの分離推論においてTTFTとTPOTを改善するためのプッシュベースのKV転送
vLLMのprefill-decode分離はLLM推論をエンジンインスタンス間に分割しますが、それらの間でKVキャッシュを転送する必要があります。この記事では、転送の調整をクリティカルパスから外すプッシュベースのNIXLコネクタを紹介します。AWS EFAを備えたAmazon EC2 P5enインスタンスでのベンチマークでは、最大3倍優れたTTFTと30%優れたTPOTを実現します。