“我认为我有关于神经网络本质的好消息。”AI初创公司Goodfire的研究员尼克·卡马拉塔用这句简单的乐观话语,开启了一篇26000字的博客文章,这篇文章在AI界引起了轩然大波,激起了疯狂的猜测以及谨慎(和不那么谨慎)的庆祝。卡马拉塔的论断是……
阅读全文THE AI NEWSROOM
AI 资讯
今天,我与伊利诺伊州州长JB Pritzker交谈,他对AI、技术和隐私有很多想法。如果你一直在收听这个节目,你知道我的一个持续理论是,这些问题正在推动一场重大且可能有些出人意料的政治重组——随着中期选举的临近[…]
阅读全文根据AI安全公司Norforge的调查结果,一名黑客利用一支主要由AI代理组成的“大军”入侵了100多个网站,这些代理大多自主运作。尽管Norforge没有点名攻击目标,但路透社报道称,受害者包括John Deere、SharkNinja和Cummins等公司。人们对AI驱动的网络安全漏洞的担忧日益加剧[…]
阅读全文在今天于柏林举行的一场创意产业活动上——该活动由Adobe、Bertelsmann、NVIDIA和UFA合作举办——展示了智能媒体领域的最新进展。新闻的关键在于:欧洲广播联盟(EBU)正与NVIDIA合作,通过云、开放模型和集成来扩展其主权框架[…]
阅读全文Deepgram与AWS Forward Deployed Engineering团队合作,将其Nova-3语音转文本模型移植到AWS Trainium2上,用于离线批量推理。本文涵盖移植到AWS Neuron栈、内核级调优、数据并行Rust运行时,以及批量转录的吞吐量和成本结果。
阅读全文vLLM的预填充-解码分离将LLM推理拆分到多个引擎实例上,但必须在它们之间传输KV缓存。本文介绍一种基于推送的NIXL连接器,它将传输协调移出关键路径,在配备AWS EFA的Amazon EC2 P5en实例基准测试中,实现高达3倍的TTFT提升和30%的TPOT提升。
阅读全文多轮智能体工作负载每轮都会重新处理不断增长的对话上下文,从而推高延迟。了解双向 KV 缓存传输如何让预填充和解码节点跨轮次复用先前已计算的上下文,在配备 EFA 的 Amazon EC2 P5en 实例上,将 Qwen3-32B 的首 token 时间最多缩短 1.6 倍,将 GLM-5-FP8 的首 token 时间最多缩短 3.3 倍。
阅读全文