マルチターンのエージェント型ワークロードでは、各ターンで増大する会話コンテキストを再処理するため、レイテンシが増加します。双方向KVキャッシュ転送により、prefillノードとdecodeノードがターンをまたいで以前に計算されたコンテキストを再利用できる仕組みをご覧ください。EFAを備えたAmazon EC2 P5enインスタンス上で、Qwen3-32Bでは最大1.6倍、GLM-5-FP8では最大3.3倍、初回トークンまでの時間を短縮します。
news
vLLMでの双方向KV転送によるマルチターンエージェントワークロードのTTFT改善
マルチターンのエージェント型ワークロードでは、各ターンで増大する会話コンテキストを再処理するため、レイテンシが増加します。双方向KVキャッシュ転送により、prefillノードとdecodeノードがターンをまたいで以前に計算されたコンテキストを再利用できる仕組みをご覧ください。これにより、EFAを備えたAmazon EC2 P5enインスタンス上で、最初のトークンまでの時間がQwen3-32Bでは最大1.6倍、GLM-5-FP8では3.3倍短縮されます。