DeepSeek V4 Flash 本地发布:速度、量化与智能体怪癖
智能水平与 2026 年 3 月相当. DeepSeek V4 Flash (0731) 的智能指数得分达到 50,几乎与五个月前前沿模型的 51 分持平。在消费级硬件上,它能够以可用速度运行:在 RTX PRO 6000 eGPU 上为 44 t/s,三块 MI50 上为 15 t/s,甚至在双 RTX 3060 加内存卸载的情况下还能达到 4.5 t/s,这得益于巧妙的量化和部分卸载。
- DeepSeek-V4-Flash-0731: Models you can run locally now have the intelligence score of the top frontier model from March 2026(在新标签页中打开)
- DeepSeek-V4-Flash-0731 on Bosgame M5 with RTX PRO 6000 Max-Q eGPU(在新标签页中打开)
- Ran DS V4-Flash-0731 Locally on 3xMI50 32GB @ ~15 t/s TG(在新标签页中打开)
- DeepSeek V4 Flash 0731 IQ2_M benchmark for Dual 3060 and 96GB RAM ≈ 3.5 tok/s.(在新标签页中打开)
工具调用已修复,规则遵循仍不稳定. 在社区报告工具调用出现问题后,llama.cpp 的修复已被合并,并分享了 Unsloth Studio 的解决方法。然而,用户发现该模型经常忽略系统提示和技能,而是将其存储为压缩摘要而不是严格遵守,这削弱了它在需要精确指令遵循的智能体任务中的可靠性。
智能体评估与基准
Hermes 智能体的社区基准. LocalLLaMA 用户讨论了评估像 Hermes 这类具备智能体能力的模型的最佳基准,许多人认为 SWE-bench 等现有排行榜并不适用于他们的家庭助手或文档处理工作流。
纯编码排行榜受到批评. 有人呼吁更多样化的基准,认为近期的排行榜过度关注编码任务,导致语言学习、创意写作和 STEM 推理等领域的代表性不足,使得难以评估模型在非编码智能体用例中的性能。
DIY 领域特定基准套件. 一位 Reddit 用户构建了一个包含 30 多个小型领域特定测试(例如常识、洗车模拟)的集合,以及一个用于比较模型响应的网页工具,旨在填补广泛基准与个人用例之间的空白。
AI 研究与编码智能体
Astra 攻克十年之久的数学难题. OpenAI 的下一代模型系列 Astra 解决了数学和理论计算机科学中十个此前未解决的问题,提供了形式化 Lean 证明,每个解决方案的成本不到 2000 美元。这些结果涵盖几何、编码理论和量子复杂性,并已经启发了进一步的人类研究。
编码智能体重振老化的研究软件. 一项与 OpenAI 和学术合作伙伴进行的实地研究表明,像 GPT-5.5 和 Claude Code 这样的 AI 编码智能体可以现代化脆弱的科学软件,在某些情况下实现超过 60 倍的加速,但这项工作将负担转移到验证正确性上——智能体无法判断科学本身。
智能体系统的政策与安全
自我传播的提示注入蠕虫攻击 Copilot. 一名安全研究人员演示了一种蠕虫,它利用 Word 文档中隐藏的白底白字文本向 Microsoft Copilot 注入恶意指令,然后 Copilot 会将有效载荷复制到新文件中。微软确认了该行为,但 144 天后仍未修复。
欧盟 AI 法案标签规定生效. 自 2026 年 8 月 2 日起,欧盟要求对 AI 生成的图像、视频、音频和文本进行明确标注。该法规可能会影响自主发布内容或创建媒体的智能体。
明尼苏达州‘脱衣’禁令经受住了 xAI 的法律挑战. 一名联邦法官拒绝了 xAI 要求暂时阻止明尼苏达州针对生成非自愿露骨图像应用的法律的请求,并指出 xAI 等待了三个月才提起诉讼。该法律在诉讼继续期间生效。
新模型与极限推理
Kimi K3 在单 CPU 上运行,速度缓慢. 两位开发者独立编写了极简 C 推理引擎,在没有 GPU 的情况下从磁盘运行 1.56 TB 的 MoE 模型 Kimi K3。一位使用 8 GB 内存和 NVMe 流式传输实现了每 30 秒一个 token;另一位在 29 GB 内存下实现了 0.5 t/s,所有专家按需读取。
LongCat-Flash-Lite-Sparse 现已可用. 此新版本用 LongCat 稀疏注意力(LSA)取代了密集注意力,并原生支持多达 100 万个 token 的上下文,使其适用于长文档智能体任务。
Laguna S 2.1 更新上下文和量化. Poolside 发布了 Laguna S 2.1 的新 FP8 和 NVFP4 检查点,将默认上下文大小提升至 100 万 token,并希望修复一个曾阻碍开发工作流的循环问题。
这一天的内容就到这里——大约 5 分钟读完。