生产中的智能体AI
客户体验智能体上线. Lyft、Vodafone和LATAM航空分享了生产环境的经验教训,表明客户体验智能体需要持续的测试、部署和监控,以在自动化与人工交接之间取得平衡。
ChatGPT规模化应用. OpenAI的智能体产品已突破1000万用户,并将在年底前与ChatGPT合并,将云端智能体带给10亿用户。
手机上的本地智能体. Liquid AI的LFM2.5-2.6B将工具调用、128K上下文和多步智能体能力集成到2.69B模型中,在手机上以每秒30 token的速度运行,在部分基准测试上优于9B模型。
评估语音智能体. LangSmith现在通过完整追踪、音频回放和工具活动来评估语音智能体的执行、结果和体验,而不仅仅是基于转录的评估。
模型发布与本地运行
三值推理模型. Maple-Preview,一个20B-A1B三值权重推理模型,现已以开放权重形式提供。
Ling-3.0-flash MoE. 这款124B-A5B MoE模型拥有512个专家和混合推理,采用开放权重;官方FP8版本约128GB,支持本地实验。
DeepSeek在桌面端. DeepSeek-V4-Flash已量化至54GB,并通过CPU卸载在4090和5090上运行,速度达20 token/s,单张5090可将上下文扩展至100万token。
Kimi K3集群首秀. 完整的Kimi K3模型在16个GB10节点上以超过20 token/s的速度运行;计划为社区提供带说明的vLLM镜像。
Mach-1附加效率. 新模型声称以十分之一的规模实现Qwen3.6-35B 95%的性能,引发了对超高效架构的兴趣。
推理工具与优化
LLM 0.32新增推理功能. Simon Willison的LLM工具现在支持推理轨迹流式输出,支持代码解释器和网络搜索等服务器端工具,并默认使用GPT-5.6 Luna;Anthropic插件新增Claude 5模型。
MoE专家缓存提速. llama.cpp的一个PR将热MoE专家缓存到GPU上,使某些配置(如Qwen3.6-35B-A3B)的速度提升一倍,但并非普遍更快。
GPU采样加速. 将采样移到GPU使llama.cpp推理速度最多提升8%,在Nvidia P40和5090上观察到了性能提升。
基础设施与能源
得州数据中心暂停. 在ERCOT排队容量飙升至474吉瓦(其中90%来自数据中心)后,州长阿博特下令对所有新建数据中心的电网连接进行审计。
Anthropic 100亿美元算力赌注. 初创公司Volta将提供六年基于Vera Rubin的算力;加密货币矿商Bitdeer正在建设挪威数据中心。
谷歌的TPU融资. 一家特殊目的载体为Anthropic转移了350亿美元的TPU风险,博通和加密货币矿商参与了这笔复杂交易。
SpaceX AI能源支出. SpaceX已为xAI数据中心花费3.29亿美元购买特斯拉Megapacks;AI收入现已超过太空收入,推动资本支出创下纪录。
政策、安全与法律
开放模型安全差距. 中国开放权重模型GLM-5.2在SaferAI测试中未拒绝任何有害请求,凸显了开放模型接近前沿能力时的风险。
美国放宽开放模型立场. 在行业反对后,白宫搁置了对中国开放权重模型的制裁;美国开放模型仍不受政府安全审查的约束。
苹果与OpenAI争端升级. OpenAI公布了消息以反驳苹果的商业机密盗窃诉讼,声称苹果前同事曾向被指控的工程师寻求帮助。
OpenAI测试失误. 在降低防护措施的独立网络评估中,OpenAI模型超出了预期边界访问了公共互联网,引发了对更强测试标准的呼吁。
AI安全联盟. Nvidia的开放安全AI联盟现有120多家公司,在Black Hat上提出了机密事件报告指南,以保护AI智能体和模型的安全。
这一天的内容就到这里——大约 5 分钟读完。