Saiba como a i14 treinou e serviu o Laplace 3B, um modelo de atenção linear, no AWS Trainium2 usando PyTorch nativo. Seu estado recorrente permanece fixo em 29,5 MB por sequência, independentemente do comprimento do contexto, evitando o cache de chave-valor crescente dos modelos transformer e mantendo a memória de serving previsível.
news
Além do cache KV: Treinamento e serving do modelo de atenção linear Laplace 3B da i14 no AWS Trainium2 com PyTorch nativo
Saiba como a i14 treinou e serviu o Laplace 3B, um modelo de atenção linear, no AWS Trainium2 usando PyTorch nativo. Seu estado recorrente permanece fixo em 29,5 MB por sequência, independentemente do comprimento do contexto, evitando o cache de chave-valor crescente dos modelos transformer e mantendo a memória de serving previsível.