멀티턴 에이전트 워크로드는 매 턴마다 증가하는 대화 컨텍스트를 재처리하여 지연 시간을 높입니다. 양방향 KV 캐시 전송이 프리필 및 디코드 노드가 이전 턴에서 계산된 컨텍스트를 재사용하도록 하여, EFA가 지원되는 Amazon EC2 P5en 인스턴스에서 Qwen3-32B의 경우 최대 1.6배, GLM-5-FP8의 경우 3.3배까지 첫 토큰 생성 시간을 단축하는 방법을 확인하세요.
news
vLLM에서 양방향 KV 전송으로 멀티턴 에이전트 워크로드의 TTFT 개선
멀티턴 에이전트 워크로드는 매 턴마다 증가하는 대화 컨텍스트를 재처리하여 지연 시간을 높입니다. 양방향 KV 캐시 전송이 어떻게 프리필 및 디코드 노드가 이전 턴에서 계산된 컨텍스트를 재사용하게 하여, EFA가 지원되는 Amazon EC2 P5en 인스턴스에서 Qwen3-32B의 경우 최대 1.6배, GLM-5-FP8의 경우 3.3배까지 첫 토큰 생성 시간을 단축하는지 확인하세요.