news

KV キャッシュを超えて：ネイティブ PyTorch を用いた AWS Trainium2 上での i14 の Laplace 3B 線形アテンションモデルのトレーニングとサービング

i14がAWS Trainium2上でネイティブPyTorchを使用して、線形注意モデルであるLaplace 3Bをどのようにトレーニングし提供したかを学びましょう。その再帰状態はコンテキスト長に関係なくシーケンスあたり29.5 MBに固定され、トランスフォーマーモデルの増大するキーバリューキャッシュを回避し、提供メモリを予測可能に保ちます。