Découvrez comment i14 a entraîné et servi Laplace 3B, un modèle d'attention linéaire, sur AWS Trainium2 avec PyTorch natif. Son état récurrent reste fixé à 29,5 Mo par séquence quelle que soit la longueur du contexte, évitant ainsi le cache clé-valeur croissant des modèles transformer et rendant la mémoire de service prévisible.
news
Au-delà du cache KV : entraînement et service du modèle d'attention linéaire Laplace 3B d'i14 sur AWS Trainium2 avec PyTorch natif
Découvrez comment i14 a entraîné et servi Laplace 3B, un modèle d'attention linéaire, sur AWS Trainium2 avec PyTorch natif. Son état récurrent reste fixé à 29,5 Mo par séquence quelle que soit la longueur du contexte, évitant le cache clé-valeur croissant des modèles transformer et rendant la mémoire de service prévisible.