Cargas de trabalho agênticas de múltiplos turnos reprocessam o contexto crescente da conversa a cada turno, aumentando a latência. Veja como a transferência bidirecional de cache KV permite que os nós de prefill e decode reutilizem o contexto previamente computado entre turnos, reduzindo o tempo até o primeiro token em até 1,6x para o Qwen3-32B e 3,3x para o GLM-5-FP8 em instâncias Amazon EC2 P5en com EFA.
news
Melhore o TTFT para cargas de trabalho agênticas de múltiplos turnos com transferência KV bidirecional no vLLM
Cargas de trabalho agênticas multi-turno reprocessam o contexto crescente da conversa a cada turno, aumentando a latência. Veja como a transferência bidirecional de cache KV permite que os nós de prefill e decode reutilizem o contexto previamente computado entre turnos, reduzindo o tempo até o primeiro token em até 1,6x para o Qwen3-32B e 3,3x para o GLM-5-FP8 em instâncias Amazon EC2 P5en com EFA.