A Deepgram trabalhou com a equipe de Engenharia de Implantação Avançada da AWS para portar seu modelo de fala para texto Nova-3 para o AWS Trainium2 para inferência em lote offline. Este post aborda o porte para a pilha AWS Neuron, o ajuste em nível de kernel, um runtime Rust com paralelismo de dados e os resultados de throughput e custo na transcrição em lote.
news
Como a Deepgram otimizou a IA de voz em escala com o AWS Trainium
A Deepgram trabalhou com a equipe de Engenharia Forward Deployed da AWS para portar seu modelo de fala para texto Nova-3 para o AWS Trainium2 para inferência em lote offline. Este post aborda o porting para a pilha AWS Neuron, o ajuste em nível de kernel, um runtime Rust paralelo em dados e os resultados de throughput e custo na transcrição em lote.