Liquid AIは、同社のLFMモデル向けのリアルタイム推論エンジンであるRIPLをリリースした。1台のB200上で、RIPL上のLFM2.5-1.2Bは、vLLM上のQwen3.5-0.8Bと比較してp95レイテンシが14.4～28.4倍低いことを示した。Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs の投稿はMarkTechPostで最初に公開された。
news
Liquid AI、50ms未満のLFM向けリアルタイム推論エンジンRIPLを発表
Liquid AIは、自社のLFMモデル向けのリアルタイム推論エンジンであるRIPLをリリースした。1台のB200上で、RIPL上のLFM2.5-1.2Bは、vLLM上のQwen3.5-0.8Bと比較してp95レイテンシが14.4～28.4倍低いことを示した。Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs の投稿はMarkTechPostで最初に公開された。