AIニュース

DeepgramはAWS Forward Deployed Engineeringチームと協力し、Nova-3音声認識モデルをオフラインバッチ推論用にAWS Trainium2へ移植しました。本記事では、AWS Neuronスタックへの移植、カーネルレベルのチューニング、データ並列Rustランタイム、そしてバッチ文字起こしにおけるスループットとコストの結果について解説します。

vLLMのprefill-decode分離はLLM推論をエンジンインスタンス間に分割しますが、それらの間でKVキャッシュを転送する必要があります。この記事では、転送の調整をクリティカルパスから外すプッシュベースのNIXLコネクタを紹介します。AWS EFAを備えたAmazon EC2 P5enインスタンスでのベンチマークでは、最大3倍優れたTTFTと30%優れたTPOTを実現します。

マルチターンのエージェント型ワークロードでは、各ターンで増大する会話コンテキストを再処理するため、レイテンシが増加します。双方向KVキャッシュ転送により、prefillノードとdecodeノードがターンをまたいで以前に計算されたコンテキストを再利用できる仕組みをご覧ください。これにより、EFAを備えたAmazon EC2 P5enインスタンス上で、最初のトークンまでの時間がQwen3-32Bでは最大1.6倍、GLM-5-FP8では3.3倍短縮されます。

広告や追跡、動作の遅いインターフェースにうんざりした一部のスマートテレビ所有者は、AIエージェントを使って不要なソフトウェアを取り除き、テレビの制御を取り戻そうとしている。

Nvidiaは、企業が自社のデータセンターで独自のオープンモデルを実行したいというトレンドに強く傾注しており、オンデバイスのプライベートAIエージェントを普及させようともしている。

Hacker Newsで357ポイント・183コメント・wjcl.com

185ポイント · Hacker Newsで32件のコメント · mistral.ai

民主党はこの11月に議会の支配権を取り戻す可能性があり、そうなれば、この国で最も新しく厄介な政治課題の一つであるAIにどう取り組むかを決める必要がある。世論調査は、民主党が中間選挙で議会の少なくとも一院を奪還すると予測しており、それにより委員会の指導権が再び彼らの手に戻ることになる。それは[…]

MiniMaxはM3.1 Flashをリリースしました。これは428BパラメータのMoEモデルで、約23Bのアクティブパラメータと1Mトークンのコンテキストを持ちます。API価格は100万トークンあたり$0.15/$0.60で、重みは10月23日に公開予定です。投稿「MiniMax Just Launched M3.1 Flash: 428B MoE Agentic Model at $0.15/M Input」はMarkTechPostで最初に公開されました。

Hacker Newsで152ポイント・54コメント · artificialanalysis.ai

Hacker Newsで179ポイント・123コメント · jrdsgl.com