Descubre cómo i14 entrenó y sirvió Laplace 3B, un modelo de atención lineal, en AWS Trainium2 usando PyTorch nativo. Su estado recurrente se mantiene fijo en 29.5 MB por secuencia independientemente de la longitud del contexto, evitando la caché de clave-valor creciente de los modelos transformer y manteniendo la memoria de servicio predecible.
news
Más allá de la caché KV: entrenamiento y servicio del modelo de atención lineal Laplace 3B de i14 en AWS Trainium2 con PyTorch nativo
Descubre cómo i14 entrenó y sirvió Laplace 3B, un modelo de atención lineal, en AWS Trainium2 usando PyTorch nativo. Su estado recurrente se mantiene fijo en 29.5 MB por secuencia independientemente de la longitud del contexto, evitando la caché de clave-valor creciente de los modelos transformer y manteniendo la memoria de servicio predecible.