Liquid AI 發布了 RIPL,這是為其 LFM 模型打造的即時推論引擎。在單一 B200 上,於 RIPL 上執行的 LFM2.5-1.2B,其 p95 延遲比在 vLLM 上執行的 Qwen3.5-0.8B 低 14.4 至 28.4 倍。文章 Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs 首發於 MarkTechPost 。
news
Liquid AI 推出 RIPL,一款專為低於 50 毫秒 LFM 打造的即時推論引擎
Liquid AI 發布了 RIPL,這是為其 LFM 模型打造的即時推論引擎。在一台 B200 上,於 RIPL 上執行的 LFM2.5-1.2B,其 p95 延遲比在 vLLM 上執行的 Qwen3.5-0.8B 低 14.4 至 28.4 倍。文章《Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs》首次刊登於 MarkTechPost。