THE AI NEWSROOM

AI 资讯

367已发布资讯
新闻
“我们看错了”:颠覆AI世界的爆炸性主张

“我认为我有关于神经网络本质的好消息。”AI初创公司Goodfire的研究员尼克·卡马拉塔用这句简单的乐观话语,开启了一篇26000字的博客文章,这篇文章在AI界引起了轩然大波,激起了疯狂的猜测以及谨慎(和不那么谨慎)的庆祝。卡马拉塔的论断是……

阅读全文
新闻
一名黑客利用一支AI代理大军侵入了John Deere和SharkNinja

根据AI安全公司Norforge的调查结果,一名黑客利用一支主要由AI代理组成的“大军”入侵了100多个网站,这些代理大多自主运作。尽管Norforge没有点名攻击目标,但路透社报道称,受害者包括John Deere、SharkNinja和Cummins等公司。人们对AI驱动的网络安全漏洞的担忧日益加剧[…]

阅读全文
新闻
Deepgram如何利用AWS Trainium大规模优化语音AI

Deepgram与AWS Forward Deployed Engineering团队合作,将其Nova-3语音转文本模型移植到AWS Trainium2上,用于离线批量推理。本文涵盖移植到AWS Neuron栈、内核级调优、数据并行Rust运行时,以及批量转录的吞吐量和成本结果。

阅读全文
新闻
基于推送的KV传输,以改善vLLM中分离式推理的TTFT和TPOT

vLLM的预填充-解码分离将LLM推理拆分到多个引擎实例上,但必须在它们之间传输KV缓存。本文介绍一种基于推送的NIXL连接器,它将传输协调移出关键路径,在配备AWS EFA的Amazon EC2 P5en实例基准测试中,实现高达3倍的TTFT提升和30%的TPOT提升。

阅读全文
新闻
在vLLM中通过双向KV传输改善多轮代理工作负载的TTFT

多轮智能体工作负载每轮都会重新处理不断增长的对话上下文,从而推高延迟。了解双向 KV 缓存传输如何让预填充和解码节点跨轮次复用先前已计算的上下文,在配备 EFA 的 Amazon EC2 P5en 实例上,将 Qwen3-32B 的首 token 时间最多缩短 1.6 倍,将 GLM-5-FP8 的首 token 时间最多缩短 3.3 倍。

阅读全文