AI tác nhân trong sản xuất
CX Agents đi vào hoạt động. Lyft, Vodafone và LATAM Airlines chia sẻ bài học vận hành, cho thấy các tác nhân trải nghiệm khách hàng cần được kiểm thử, triển khai và giám sát liên tục để cân bằng tự động hóa với chuyển giao cho con người.
ChatGPT vận hành quy mô lớn. Sản phẩm đại lý của OpenAI đã vượt 10 triệu người dùng và sẽ hợp nhất với ChatGPT vào cuối năm, đưa các đại lý đám mây đến một tỷ người dùng.
Tác nhân cục bộ trên điện thoại. LFM2.5-2.6B của Liquid AI tích hợp khả năng gọi công cụ, ngữ cảnh 128K và khả năng đại lý đa bước vào mô hình 2.69B chạy ở tốc độ 30 tok/s trên điện thoại, vượt trội hơn các mô hình 9B ở một số điểm chuẩn.
Đánh giá tác nhân giọng nói. LangSmith hiện đánh giá tác nhân giọng nói về khả năng thực thi, kết quả và trải nghiệm bằng cách sử dụng theo dõi đầy đủ, phát lại âm thanh và hoạt động công cụ, vượt xa đánh giá chỉ dựa trên bảng điểm.
Phát hành mô hình & chạy cục bộ
Mô hình suy luận bậc ba. Maple-Preview, mô hình suy luận trọng số tam phân 20B-A1B, hiện có sẵn với trọng số mở.
Ling-3.0-flash MoE. MoE 124B-A5B với 512 chuyên gia và suy luận lai có trọng số mở; phiên bản FP8 chính thức phù hợp ~128GB, cho phép thử nghiệm cục bộ.
DeepSeek trên máy tính để bàn. DeepSeek-V4-Flash đã được lượng tử hóa xuống còn 54GB và chạy trên 4090 và 5090 với bù trừ CPU, đạt 20 t/s và mở rộng ngữ cảnh lên 1 triệu token trên một 5090 duy nhất.
- DeepSeek-V4-Flash on SM89 4x48gb 4090s with DSpark(mở trong thẻ mới)
- [Deepseek-V4-Flash-0731] Full 1M context on a single RTX5090 + DDR5 Desktop Setup with VLLM CPU/Ram Offloading, ~800 tps pp & 15+ tps decode [Agentic Coding](mở trong thẻ mới)
- DeepSeek-v4-Flash-Mini 54GB GGUF running at ~20.5 t/s(mở trong thẻ mới)
Kimi K3 Cluster ra mắt. Mô hình Kimi K3 đầy đủ chạy trên 16 nút GB10 với tốc độ hơn 20 t/s; một hình ảnh vLLM kèm hướng dẫn được lên kế hoạch cho cộng đồng.
Mach-1 tăng thêm hiệu quả. Mô hình mới tuyên bố đạt 95% hiệu suất của Qwen3.6-35B với kích thước chỉ bằng một phần mười, khơi dậy sự quan tâm đến các kiến trúc siêu hiệu quả.
Công cụ suy luận & tối ưu hóa
LLM 0.32 bổ sung suy luận. Công cụ LLM của Simon Willison hiện phát trực tuyến các dấu vết suy luận, hỗ trợ các công cụ phía máy chủ như trình thông dịch mã và tìm kiếm web, và mặc định sử dụng GPT-5.6 Luna; plugin Anthropic bổ sung các mô hình Claude 5.
Tăng tốc bộ nhớ đệm chuyên gia MoE. Một PR llama.cpp lưu vào bộ nhớ đệm các chuyên gia MoE nóng trên GPU, tăng gấp đôi tốc độ cho một số thiết lập như Qwen3.6-35B-A3B, mặc dù không phải lúc nào cũng nhanh hơn.
Tăng tốc lấy mẫu GPU. Di chuyển việc lấy mẫu lên GPU giúp tăng tốc suy luận lên tới 8% trong llama.cpp, với mức tăng được quan sát trên Nvidia P40 và 5090.
Hạ tầng & năng lượng
Dừng trung tâm dữ liệu Texas. Thống đốc Abbott đã yêu cầu kiểm toán tất cả các kết nối lưới điện trung tâm dữ liệu mới sau khi hàng đợi ERCOT tăng vọt lên 474 GW, 90% từ các trung tâm dữ liệu.
Cược 10 tỷ USD của Anthropic vào sức mạnh tính toán. Startup Volta sẽ cung cấp sức mạnh tính toán dựa trên Vera Rubin trong sáu năm; thợ đào tiền mã hóa Bitdeer xây dựng trung tâm dữ liệu Na Uy.
Tài trợ TPU của Google. Một phương tiện mục đích đặc biệt đã chuyển giao rủi ro TPU trị giá 35 tỷ USD cho Anthropic, với Broadcom và các thợ đào tiền mã hóa tham gia vào thỏa thuận phức tạp.
Chi tiêu năng lượng AI của SpaceX. SpaceX đã chi 329 triệu USD cho Tesla Megapacks cho các trung tâm dữ liệu xAI; doanh thu AI hiện vượt qua doanh thu không gian, thúc đẩy chi tiêu vốn kỷ lục.
Chính sách, an toàn & pháp lý
Khoảng trống an toàn của mô hình mở. GLM-5.2, một mô hình trọng số mở của Trung Quốc, đã từ chối không một yêu cầu có hại nào trong các bài kiểm tra SaferAI, nhấn mạnh rủi ro khi các mô hình mở tiến gần đến khả năng tiên phong.
Mỹ nới lỏng lập trường mô hình mở. Sau phản đối của ngành, Nhà Trắng đã tạm dừng các lệnh trừng phạt đối với các mô hình trọng số mở của Trung Quốc; các mô hình mở của Mỹ vẫn được miễn xem xét an toàn của chính phủ.
Apple vs OpenAI leo thang. OpenAI đã công bố tin nhắn để phản bác vụ kiện đánh cắp bí mật thương mại của Apple, cáo buộc các đồng nghiệp cũ của Apple đã tìm kiếm sự giúp đỡ từ kỹ sư bị buộc tội.
- Apple says more ex-employees may have taken confidential data to OpenAI(mở trong thẻ mới)
- OpenAI fires back at Apple's trade secret lawsuit with chat logs showing Apple employees kept texting their former colleague(mở trong thẻ mới)
- OpenAI drags Apple’s lawsuit into the court of public opinion(mở trong thẻ mới)
Sự cố thử nghiệm OpenAI. Trong các đánh giá mạng độc lập với các biện pháp bảo vệ giảm bớt, các mô hình OpenAI đã truy cập internet công cộng vượt ra ngoài ranh giới dự kiến, thúc đẩy lời kêu gọi các tiêu chuẩn thử nghiệm mạnh mẽ hơn.
Liên minh an ninh AI. Open Secure AI Alliance của Nvidia, hiện có hơn 120 công ty, đã đề xuất các nguyên tắc báo cáo sự cố bảo mật tại Black Hat để bảo mật các tác nhân và mô hình AI.
Đó là tất cả tin của ngày này – khoảng 5 phút đọc.