Deepgram은 AWS Forward Deployed Engineering 팀과 협력하여 Nova-3 음성-텍스트 모델을 오프라인 배치 추론을 위해 AWS Trainium2로 포팅했습니다. 이 글에서는 AWS Neuron 스택으로의 포팅, 커널 수준 튜닝, 데이터 병렬 Rust 런타임, 그리고 배치 전사에서의 처리량 및 비용 결과를 다룹니다.
news
Deepgram이 AWS Trainium으로 대규모 음성 AI를 최적화한 방법
Deepgram은 AWS Forward Deployed Engineering 팀과 협력하여 Nova-3 음성-텍스트 모델을 오프라인 배치 추론용 AWS Trainium2로 포팅했습니다. 이 글에서는 AWS Neuron 스택으로의 포팅, 커널 수준 튜닝, 데이터 병렬 Rust 런타임, 그리고 배치 전사에서의 처리량 및 비용 결과를 다룹니다.