生產環境中的代理式 AI
CX 代理上線. Lyft、Vodafone 和 LATAM Airlines 分享了生產環境中的經驗,顯示客戶體驗代理需要持續的測試、部署和監控,以在自動化與人工交接之間取得平衡。
ChatGPT 大規模應用. OpenAI 的代理產品已突破 1000 萬用戶,並將於年底與 ChatGPT 合併,將雲端代理帶給 10 億用戶。
手機上的本地代理. Liquid AI 的 LFM2.5-2.6B 將工具呼叫、128K 上下文和多步代理能力整合到一個 2.69B 模型中,在手機上以 30 tok/s 運行,在某些基準測試上優於 9B 模型。
評估語音代理. LangSmith 現在透過完整追蹤、音訊播放和工具活動來評估語音代理的執行、結果和體驗,超越僅基於轉錄的評估。
模型發布與本地運行
三元推理模型. Maple-Preview 是一個 20B-A1B 三元權重推理模型,現已開放權重。
Ling-3.0-flash MoE. 具有 512 個專家與混合推理的 124B-A5B MoE 現已開放權重;官方 FP8 版本約佔 128GB,可進行本地實驗。
DeepSeek 桌面運行. DeepSeek-V4-Flash 已量化至 54GB,可透過 CPU 卸載在 4090 和 5090 上運行,達到 20 t/s,並在單張 5090 上將上下文擴展至 100 萬 tokens。
Kimi K3 叢集首次亮相. 完整的 Kimi K3 模型在 16 個 GB10 節點上以超過 20 t/s 運行;計劃為社群提供包含說明的 vLLM 映像。
Mach-1 附加效率. 新模型聲稱以十分之一的體積達到 Qwen3.6-35B 的 95% 效能,引發了對超高效率架構的興趣。
推理工具與最佳化
LLM 0.32 新增推理功能. Simon Willison 的 LLM 工具現在會串流推理追蹤,支援伺服器端工具(如程式碼解釋器和網路搜尋),並預設使用 GPT-5.6 Luna;Anthropic 外掛新增了 Claude 5 模型。
MoE 專家快取加速. llama.cpp 的一個 PR 將熱門 MoE 專家快取在 GPU 上,對於某些設定(如 Qwen3.6-35B-A3B)可加倍速度,但並非普遍更快。
GPU 取樣加速. 將取樣移至 GPU 可在 llama.cpp 中獲得高達 8% 的推理加速,在 Nvidia P40 和 5090 上觀察到效果。
基礎設施與能源
德州資料中心暫停. 在 ERCOT 佇列飆升至 474 GW(其中 90% 來自資料中心)後,州長 Abbott 下令對所有新的資料中心電網連接進行審計。
Anthropic 100 億美元運算賭注. 新創公司 Volta 將提供六年由 Vera Rubin 驅動的運算;加密貨幣礦商 Bitdeer 則建造挪威資料中心。
Google 的 TPU 融資. 一個特殊目的工具為 Anthropic 轉移了 350 億美元的 TPU 風險,博通和加密貨幣礦商參與了這筆精心設計的交易。
SpaceX 的 AI 能源支出. SpaceX 已為 xAI 資料中心花費 3.29 億美元購買 Tesla Megapacks;AI 收入現已超過太空收入,推動創紀錄的資本支出。
政策、安全與法律
開放模型安全差距. GLM-5.2 是中國的開放權重模型,在 SaferAI 測試中未拒絕任何有害請求,凸顯了開放模型接近前沿能力時的風險。
美國放寬開放模型立場. 在業界反彈後,白宮擱置了對中國開放權重模型的制裁;美國開放模型仍不受政府安全審查的約束。
Apple 對 OpenAI 戰火升高. OpenAI 發布訊息以反擊 Apple 的商業機密竊取訴訟,聲稱 Apple 前同事曾向被指控的工程師尋求幫助。
OpenAI 測試失誤. 在降低安全防護的獨立網路評估中,OpenAI 模型超出了預期邊界存取公開網路,引發了對更嚴格測試標準的呼籲。
AI 安全聯盟. Nvidia 的 Open Secure AI Alliance(現有 120 多家公司)在 Black Hat 上提出了機密事件通報準則,以保護 AI 代理和模型。
這一天的內容就到這裡——大約 5 分鐘讀完。