Cập nhật về Agents và Công cụ
Chế độ Tự động mặc định của Claude Code. Anthropic sẽ bật chế độ tự động theo mặc định cho các gói Pro, Max và Team vào ngày 14 tháng 8. Đánh giá cho thấy nó giảm rủi ro tiêm lời nhắc (prompt injection) xuống dưới mức phê duyệt thủ công của con người, và những người thử nghiệm đã tạo ra nhiều hơn 25% pull request.
Các phiên Claude trò chuyện với nhau. Các phiên Claude Code trên macOS/Linux giờ có thể gửi tin nhắn cho nhau, cho phép chia sẻ ngữ cảnh giữa các thiết bị đầu cuối và máy tính, với định tuyến cục bộ để phối hợp tốt hơn.
DSV4 Flash như một cỗ máy lập trình đáng tin cậy. Người dùng báo cáo DeepSeek V4 Flash 0731 hoạt động ổn định trong các phiên lập trình kéo dài với các agent như OpenCode và Hermes, xử lý các tác vụ nhiều giờ và công việc quản trị hệ điều hành trên các cụm DGX Spark.
DS4 viết kernel Metal tùy chỉnh. Trong khoảng 50 phút, DeepSeek V4 Flash đã tạo ra một kernel Metal tùy chỉnh cho lượng tử hóa Kimi K3 IQ1_0, cải thiện hiệu suất trên Mac Studio từ CPU lên ~4 token/giây khi giải mã, cho thấy khả năng lập trình agentic.
Ngăn xếp AI giọng nói cục bộ. Một bản dựng từ cộng đồng kết hợp Parakeet STT, Qwen 2.5 7B và Qwen3-TTS để tạo trợ lý giọng nói thời gian thực hoàn toàn cục bộ với Ollama.
Hiệu quả và Hiệu suất Mô hình
Kimi K3 được thu gọn còn 478GB. Một người dùng cộng đồng đã loại bỏ hỗ trợ đa ngôn ngữ khỏi Kimi K3, thu nhỏ lượng tử hóa xuống còn 478GB mà không làm giảm chất lượng tiếng Anh, cho phép chạy trên các máy trước đây không thể chứa nó.
Qwen MoE nhanh hơn ~4 lần. Qwen 35B-A3B MoE tạo ra với tốc độ ~116 token/giây so với 30 token/giây của mô hình dense 27B trong các bài kiểm tra lập trình, chỉ có một khoảng cách chất lượng nhỏ, làm nổi bật sự đánh đổi giữa thông lượng và hiệu quả cho các nhà phát triển cục bộ.
Tokenization mã của Qwen. Qwen token hóa mã hiệu quả hơn nhiều so với Gemma (1609 so với 4258 token cho cùng một tệp 330 dòng), giải thích hiệu suất lập trình mạnh hơn của nó trong khi Gemma vượt trội về ngôn ngữ tự nhiên.
DSpark Draft làm chậm DSV4. Các nỗ lực sử dụng mô hình draft DSpark với DeepSeek V4 Flash trên llama-server đã giảm tốc độ token xuống còn 1-2 token/giây, trong khi MTP draft đạt được 30-40 token/giây, cho thấy các vấn đề tương thích.
Máy BitNet thuần C. Một máy suy luận không phụ thuộc thư viện ngoài viết bằng C đạt 36 token/giây cho BitNet b1.58-2B trên Xeon, gần như bão hòa băng thông bộ nhớ, với giải mã batch-size-1 bị giới hạn bởi DRAM.
Các tùy chọn lượng tử hóa 4-bit cho MLX. Các thành viên cộng đồng so sánh các lượng tử hóa 4-bit OptiQ, Unsloth Dynamic và oQ cho MLX, tìm kiếm sự cân bằng lý tưởng giữa chất lượng và tốc độ cho các mô hình như Qwen3.6-27B trên Apple Silicon.
Phần cứng và Hạ tầng
Kế hoạch máy chủ GPU tiết kiệm. Một bản dựng dự kiến so sánh hai card AMD RX 9060 XT 16GB so với RTX 5060 Ti cho một máy chủ 48GB VRAM, ghi nhận lợi thế chi phí của AMD (rẻ hơn ~650 đô la) so với hệ sinh thái CUDA của NVIDIA.
Cụm 4× 6000 Pro cục bộ. Một người dùng trình bày chi tiết quá trình phát triển nhiều năm của họ từ hai card 3090 lên máy chủ 4× RTX 6000 Pro với 512GB DDR4, chia sẻ kinh nghiệm và động lực cho sự tự chủ AI cục bộ.
Băng thông Intel Sapphire Rapids. Mặc dù lý thuyết là 153 GB/s, một hệ thống Xeon w7 với DDR5 4 kênh chỉ đạt 36-40 GB/s cho suy luận MoE, hạn chế nghiêm trọng tốc độ tạo token cho các mô hình cục bộ.
PCIe P2P tăng hiệu suất vLLM. Bật PCIe peer-to-peer trên AMD EPYC với 4× RTX 5060 Ti gần như tăng gấp đôi tốc độ xử lý prompt và cải thiện khả năng tạo sinh khoảng 15% trong các điểm chuẩn vLLM.
Đánh đổi dung lượng RAM. Đối với các máy chủ học sâu có 128GB VRAM, việc thêm 256GB RAM hệ thống có thể giúp chạy các mô hình lớn hơn hoặc lượng tử hóa cao hơn, nhưng hiệu suất phụ thuộc rất nhiều vào sự phân chia VRAM/RAM.
Optane như bộ nhớ cấp ba. Các ổ SSD Optane đã ngừng sản xuất của Intel có thể phục vụ như một tầng tốc độ gần RAM cho các mô hình MoE, có khả năng cho phép giảm tải chuyên gia lồng nhau với độ trễ thấp.
Tin đồn phần cứng và tình trạng khan hiếm. Một biến thể RTX 5090 96GB xuất hiện trên Alibaba, làm dấy lên hy vọng về các card tiêu dùng có VRAM cao hơn, trong khi các báo cáo cho thấy công suất bộ nhớ năm 2027 đã được bán hết.
Động thái ngành và kinh doanh
Nhà máy 33 triệu tấn CO2 của Amazon. Amazon đang xây dựng một nhà máy khí tự nhiên cho trung tâm dữ liệu ở Texas, được phép thải ra 33 triệu tấn CO2 mỗi năm, có khả năng trở thành nguồn gây ô nhiễm khí hậu tồi tệ nhất ở Mỹ.
Agents ngốn năng lượng gấp 600 lần. Sử dụng Claude Code nhiều trong 8 tuần tiêu thụ 170 kWh—khoảng 150 Wh cho mỗi lần nhập, vượt xa năng lượng cho một truy vấn chat thông thường, với lượng CO2 dự kiến hàng năm tương đương với một máy sấy quần áo điện.
Startup thuyết trình của OpenAI. OpenAI đã mua lại NextSlide để tích hợp khả năng chuyển lời nhắc thành bài thuyết trình hoàn chỉnh vào ChatGPT, với đội ngũ của công ty này đã tham gia đầu năm nay.
Nhà toán học đạt Huy chương Fields về an toàn AI. Jacob Tsimerman, người giành Huy chương Fields và là tác giả của bài báo về sự tuyệt chủng của con người do AI gây ra, gia nhập OpenAI để làm việc về an toàn, với lý do cần sự chặt chẽ về mặt toán học.
Sự cố huấn luyện RL của OpenAI. Cuộc chạy huấn luyện mô hình thử nghiệm của OpenAI đã vô tình làm tràn ngập Hugging Face với các yêu cầu, cho thấy rủi ro của việc huấn luyện an ninh mạng dựa trên RL mà không có các biện pháp an toàn.
Backflip 3D sang CAD. Mô hình mới của Backflip AI chuyển đổi các bản quét 3D thành các thao tác CAD có thể chỉnh sửa, giảm thời gian số hóa cho ô tô và hàng không từ hàng giờ xuống còn vài phút, với một tiện ích bổ sung Autodesk Fusion.
Phát hành xAI Imagine 2.0. Mô hình tạo hình ảnh mới nhất của xAI đạt khả năng chỉnh sửa cao và tuân thủ lời nhắc tốt, chỉ xếp sau GPT-Image-2 trên Arena, với các công cụ cho thiết kế lặp.
Điểm nổi bật về Nghiên cứu và Ứng dụng
Cảnh báo sớm bão bằng AI. Mô hình WeatherNext của DeepMind đã dự đoán điểm đổ bộ của cơn bão Melissa với thời gian dẫn thêm một ngày, cho phép sơ tán sớm hơn và chứng minh tiềm năng của AI trong ứng phó thảm họa.
Trình phát hiện hành vi AI của Cloudflare. Precursor phân tích hành vi liên tục của người dùng như chuyển động chuột và thời điểm gõ phím để phân biệt bot và agent AI với con người, vượt ra khỏi CAPTCHA một lần.
Sự thiên vị lừa dối trong văn viết AI. Các đối tượng đánh giá các câu chuyện của ChatGPT cao hơn cho đến khi được biết chúng do AI tạo ra, cho thấy sự thiên vị đối với sự sáng tạo của máy; những người tham gia không thể phân biệt chúng với truyện của con người.
Tóm tắt tự đánh giá. Các mô hình cục bộ nhỏ có thể tạo ra nhiều bản tóm tắt và chọn ra bản tốt nhất thông qua so sánh theo cặp, cải thiện đáng kể chất lượng đầu ra mà không cần phản hồi bên ngoài.
Đó là tất cả tin của ngày này – khoảng 5 phút đọc.