DeepgramはAWS Forward Deployed Engineeringチームと協力し、Nova-3音声認識モデルをオフラインバッチ推論用にAWS Trainium2へ移植しました。この記事では、AWS Neuronスタックへの移植、カーネルレベルのチューニング、データ並列Rustランタイム、そしてバッチ文字起こしにおけるスループットとコストの結果について解説します。
news
DeepgramはAWS Trainiumで大規模な音声AIをどのように最適化したか
DeepgramはAWS Forward Deployed Engineeringチームと協力し、Nova-3音声認識モデルをオフラインバッチ推論用にAWS Trainium2へ移植しました。本記事では、AWS Neuronスタックへの移植、カーネルレベルのチューニング、データ並列Rustランタイム、そしてバッチ文字起こしにおけるスループットとコストの結果について解説します。