Deepgram a collaboré avec l'équipe AWS Forward Deployed Engineering pour porter son modèle de reconnaissance vocale Nova-3 vers AWS Trainium2 pour l'inférence par lots hors ligne. Cet article couvre le portage vers la pile AWS Neuron, l'optimisation au niveau du noyau, un runtime Rust à parallélisme de données, ainsi que les résultats de débit et de coût sur la transcription par lots.
news
Comment Deepgram a optimisé l'IA vocale à grande échelle avec AWS Trainium
Deepgram a collaboré avec l'équipe d'ingénierie AWS Forward Deployed pour porter son modèle de reconnaissance vocale Nova-3 vers AWS Trainium2 pour l'inférence par lots hors ligne. Cet article couvre le portage vers la pile AWS Neuron, le réglage au niveau du noyau, un runtime Rust à parallélisme de données, ainsi que les résultats de débit et de coût sur la transcription par lots.