Các khối lượng công việc tác tử đa lượt xử lý lại ngữ cảnh hội thoại ngày càng tăng ở mỗi lượt, làm tăng độ trễ. Hãy xem cách truyền bộ nhớ đệm KV hai chiều cho phép các nút prefill và decode tái sử dụng ngữ cảnh đã tính toán trước đó qua các lượt, giảm thời gian đến token đầu tiên xuống tới 1,6 lần đối với Qwen3-32B và 3,3 lần đối với GLM-5-FP8 trên các phiên bản Amazon EC2 P5en với EFA.
news
Cải thiện TTFT cho khối lượng công việc tác nhân đa lượt với truyền KV hai chiều trong vLLM
Khối lượng công việc tác tử đa lượt xử lý lại ngữ cảnh hội thoại ngày càng tăng ở mỗi lượt, làm tăng độ trễ. Xem cách truyền bộ nhớ đệm KV hai chiều cho phép các nút prefill và decode tái sử dụng ngữ cảnh đã tính toán trước đó qua các lượt, giảm thời gian đến token đầu tiên xuống tới 1,6 lần đối với Qwen3-32B và 3,3 lần đối với GLM-5-FP8 trên các phiên bản Amazon EC2 P5en với EFA.