Deepgram trabajó con el equipo de Ingeniería de Implementación de AWS Forward para portar su modelo de voz a texto Nova-3 a AWS Trainium2 para inferencia por lotes sin conexión. Esta publicación cubre el portado al stack de AWS Neuron, el ajuste a nivel de kernel, un runtime de Rust con paralelismo de datos y los resultados de rendimiento y coste en la transcripción por lotes.
news
Cómo Deepgram optimizó la IA de voz a escala con AWS Trainium
Deepgram trabajó con el equipo de Ingeniería de Implementación de AWS Forward para portar su modelo de voz a texto Nova-3 a AWS Trainium2 para inferencia por lotes sin conexión. Esta publicación abarca el portado al stack de AWS Neuron, el ajuste a nivel de kernel, un runtime de Rust con paralelismo de datos y los resultados de rendimiento y coste en la transcripción por lotes.