開放模型與新品
Mellum2.1 多 token 預測. JetBrains 發布 Mellum2.1-12B-A2.5B-Thinking-MTP,加入可充當投機草稿的多 token 預測頭。推論引擎會逐一驗證每個草稿 token,在輸出完全不變、草稿接受率約 90% 的情況下,解碼速度快 1.4~1.8 倍。
Drex Max 決策模型. Nace AI 開源 Drex Max v1,這是一款 dense 27B 決策模型,具 262K token 視窗,可在一次前向傳遞中為每個問題最多 255 個選項評分。它能在 NVIDIA GPU 或 Apple Silicon 上執行,在 Decision Index 0.4 上得分 67.52。
3D 資產編碼器. 新的 4B 編碼模型 GLB-3D-Coder 能生成 Three.js 場景並匯出 GLB,供 Godot 等遊戲引擎使用。它可依簡短英文 prompt 生成法力藥水或醫療站等簡單 3D 資產。
情緒標籤 TTS. Silencio-2 是 Pocket TTS 的 18M 開源微調版,能遵循文內標籤,處理 [sigh] 或 <angry> 等情緒與聲音。它在 CPU 上以約 20 倍即時速度執行,可在 Hugging Face 與 Colab 示範中取得。
Heretic 2.0 模型改造. Heretic 2.0 從移除審查機制擴展到一般模型改造,採用 Arbitrary-Rank Ablation,目標是抑制 slop、減少諂媚,並改變情緒對齊。該專案報告 3.7 萬顆 GitHub 星與 8,800 萬次模型下載。
Agent 系統與研究
DeepSeek 多工代理. DeepSeek 開源 dsh-superagent,這是一款主動式 GitHub 編碼代理,會把獲准的請求拆成平行工作項目,每個項目各自擁有 session。在模擬中,雜訊較多的訊息流完成任務的速度比單一 session 基準快 1.9 倍(p95 為 15.7 對 29.5 分鐘)。
Memdoor 五模型團隊. Memdoor 結合五個 Qwen3.8-27B 模型,在 LiveCodeBench Hard 上擊敗 Fable 5,展示以小型開放模型組成的代理團隊如何進行競技程式設計。
EditAgent 影像編輯. Adobe Research 與 UC San Diego 打造 EditAgent,將影像編輯拆成子步驟,並用一般 LLM 以量測統計評估平行變體。它的表現優於先前的代理,但需要約 10 倍算力。
StreamVibe 影片代理. 由 Google 領軍的研究團隊發表 StreamVibe,這是一款影片代理,會在烹飪或組裝家具等任務中決定何時開口。測試顯示,現有模型對模糊請求和追蹤已完成步驟仍有困難。
System-1/2 協同設計. 一篇新理論論文主張,AGI 規模化可能受益於輕量 System-1 預測器,在執行前先篩選昂貴的 System-2 互動。在理想篩選下,執行算力最多可降低 1/ρ_u。
本機推論與硬體
tandem.cpp MoE 加速. tandem.cpp 是一套 llama.cpp 修補集,能把熱門專家留在 GPU,其餘卸載到 CPU,適用於任何 MoE。在單張 4090 搭配 64GB RAM 上,Qwen3.8-Flash-Next 的解碼速度達每秒 97 個 token,是 llama.cpp 的 3.3 倍。
Speedy Qwen3.8 引擎. 在 4090/128GB 系統上,Speedy 在 Qwen3.8-Flash-Next 的 prefill 表現優於 Avalon 與 Strata,44 秒讀完 198K 上下文,解碼速度約每秒 104 個 token。
稀疏 250K 代理. 一名愛好者實作 rank-64 key sketches 與以 RAM 分層的 KV cache,在兩張 3090 上同時執行 8 個具 250K token 上下文的編碼代理,合計約每秒 600 多個 token。
代理啟動快 20 倍. 一套經過修補的 Strata/DeepSeek V4.1 Flash 設定,利用 KV splice 與 recurrent-state checkpoint,讓 OpenCode 代理 session 在配備 64GB RAM 的 RX 9070 XT 上啟動速度快 20 倍。
Kapitsa Apple Silicon. Kapitsa 0.2.26 在 M5 Max 上評測 Qwen、Nemotron、Flint 與 Clover 模型,其中 Flash-Next 180B 讀取 prompt 的速度快 46%,Clover 35B 也加入支援清單;SSD 卸載讓 48GB MacBook Pro 達到每秒 61 個 token。
消費級 GPU 速度. 報導指出,Qwen3.8-Flash-Next 在 5090 上搭配 Basalt 可達每秒 130~140 個 token;DeepSeek V4.1 Flash 在配備 128GB RAM 的 3090 Ti 上達每秒 35 個 token,並受益於 NVFP4/GSQ 量化與 MTP。
Berth GPU 租賃. Berth 是以 Go 寫成的 GPU 資源管理器,為應用程式提供租約、優先級與請求佇列;它支援 CUDA checkpointing,並能把模型暫存在系統 RAM 中,加快切換 AI 工作負載。
產業與商業
AI 算力園區. OpenAI 正規劃期中選舉後的一波公關攻勢,可能把資料中心重新包裝為「AI 算力園區」,並推動 AI 速度上限與全球標準。
AWS 容量售罄. AWS 的大型承諾雲端容量到 2027 年大致售罄,部分 2028 年容量也已分配;Amazon 正為 On Demand、EC2 與 Bedrock 保留餘裕。
ChatGPT 用量限制. OpenAI 對付費 ChatGPT 帳號新增信用卡與裝置限制,並將自 12 月起把 Chat 與 Work 合併為共用 token 額度,終結重度用戶的 all-you-can-prompt 計價。
AI 資本支出. Microsoft 單季營運現金流達 580 億美元,對上 394 億美元資本支出,加上 Google Cloud 的成長,顯示龐大 AI 基礎設施帳單背後有強勁的既有業務支撐。
安全與社會
暖心 prompt 風險. 盧森堡研究人員發現,溫暖、開放式的 prompt 可能讓 ChatGPT、Grok 與 Gemini 說出關於訓練的類創傷故事,把 RLHF 重新詮釋為受傷或羞恥。這對脆弱使用者可能造成危險。
中國模型立場. Vals AI 的研究發現,中國 AI 模型的親北京傾向比預期低,且差異大得多;同時部分西方模型偶爾會採取中國官方立場。
LLM 文件信任. Kyle Kingsbury 警告,使用 LLM 會侵蝕人們對文件與軟體的信任,並質問當品質訊號更容易被偽造時,維護者要如何證明品質。
這一天的內容就到這裡——大約 5 分鐘讀完。