DeepSeek V4 Flash nu lokaal beschikbaar: snelheden, kwantisatie en agent-eigenaardigheden
Intelligentie op niveau van maart 2026. DeepSeek V4 Flash (0731) behaalt een intelligentie-indexscore van 50, bijna gelijk aan de 51 van baanbrekende modellen van vijf maanden geleden. Op consumentenhardware draait het op bruikbare snelheden: 44 t/s op een RTX PRO 6000 eGPU, 15 t/s op drie MI50's, en zelfs 4,5 t/s op twee RTX 3060's met RAM-offloading, dankzij slimme kwantisatie en gedeeltelijke offloading.
- DeepSeek-V4-Flash-0731: Models you can run locally now have the intelligence score of the top frontier model from March 2026(opent in een nieuw tabblad)
- DeepSeek-V4-Flash-0731 on Bosgame M5 with RTX PRO 6000 Max-Q eGPU(opent in een nieuw tabblad)
- Ran DS V4-Flash-0731 Locally on 3xMI50 32GB @ ~15 t/s TG(opent in een nieuw tabblad)
- DeepSeek V4 Flash 0731 IQ2_M benchmark for Dual 3060 and 96GB RAM ≈ 3.5 tok/s.(opent in een nieuw tabblad)
Toolaanroep gerepareerd, regelvolging blijft wisselvallig. Na meldingen uit de gemeenschap over kapotte toolaanroepen werd een fix voor llama.cpp samengevoegd en werden workarounds voor Unsloth Studio gedeeld. Gebruikers stellen echter vast dat het model systeemprompts en vaardigheden vaak negeert en ze opslaat als gecomprimeerde samenvattingen in plaats van zich er strikt aan te houden, wat de betrouwbaarheid ondermijnt voor agenttaken die een nauwkeurige instructie-opvolging vereisen.
Agentevaluatie en benchmarks
Community-benchmarks voor Hermes-agenten. Gebruikers van LocalLLaMA bespreken de beste benchmarks voor het evalueren van agent-capabele modellen zoals Hermes, waarbij velen vinden dat gevestigde leaderboards zoals SWE-bench niet van toepassing zijn op hun thuisassistent- of documentverwerkingsworkflows.
Alleen-code-leaderboards bekritiseerd. Een oproep voor meer diverse benchmarks stelt dat recente leaderboards onevenredig veel nadruk leggen op codeertaken, waardoor taalleren, creatief schrijven en STEM-redeneren ondervertegenwoordigd blijven, en het moeilijk wordt om de modelprestaties voor niet-codeergerelateerde agentuse cases te beoordelen.
Zelfbouw-domeinspecifieke benchmarkkit. Een Redditor bouwde een verzameling van meer dan 30 kleine, domeinspecifieke tests (bijv. gezond verstand, autowasstraatsimulatie) en een webtool om modelreacties te vergelijken, met als doel het gat tussen brede benchmarks en persoonlijke use cases te vullen.
AI-onderzoek en codeeragenten
Astra lost tien jaar oude wiskundeproblemen op. OpenAI's volgende modelfamilie, Astra, loste tien voorheen openstaande problemen op in de wiskunde en theoretische informatica, met formele Lean-bewijzen en een kostprijs van minder dan $2.000 per oplossing. De resultaten omvatten meetkunde, coderingstheorie en kwantumcomplexiteit, en hebben al verder menselijk onderzoek geïnspireerd.
Codeeragenten doen verouderde onderzoekssoftware herleven. Een veldstudie met OpenAI en academische partners toont aan dat AI-codeeragenten zoals GPT-5.5 en Claude Code kwetsbare wetenschappelijke software kunnen moderniseren, met in sommige gevallen een versnelling van meer dan 60x, maar het werk verschuift de last naar het verifiëren van de correctheid—de agenten kunnen de wetenschap niet beoordelen.
Beleid en beveiliging voor agentische systemen
Zelfverspreidende promptinjectieworm valt Copilot aan. Een beveiligingsonderzoeker demonstreerde een worm die verborgen wit-op-witte tekst in Word-documenten gebruikt om kwaadaardige instructies in Microsoft Copilot te injecteren, die vervolgens de payload in nieuwe bestanden kopieert. Microsoft bevestigde het gedrag, maar heeft het na 144 dagen nog niet verholpen.
Labelverplichting EU AI Act gaat in. Vanaf 2 augustus 2026 vereist de EU dat AI-gegenereerde afbeeldingen, video, audio en tekst duidelijk worden gelabeld. De verordening kan gevolgen hebben voor agenten die autonoom content publiceren of media creëren.
Minnesota's 'nudify'-verbod overleeft juridische uitdaging van xAI. Een federale rechter weigerde de poging van xAI om de wet van Minnesota tegen apps die niet-consensuele expliciete afbeeldingen genereren tijdelijk te blokkeren, en merkte op dat xAI drie maanden wachtte om te procederen. De wet treedt in werking terwijl het proces voortduurt.
Nieuwe modellen en extreme inferentie
Kimi K3 draait op één CPU, langzaam. Twee ontwikkelaars schreven onafhankelijk minimale C-inferentie-engines om het 1,56 TB MoE-model Kimi K3 vanaf schijf te draaien zonder GPU's. De ene behaalde een token per 30 seconden met 8 GB RAM en NVMe-streaming; een andere behaalde 0,5 t/s met 29 GB RAM, waarbij alle experts op aanvraag worden gelezen.
LongCat-Flash-Lite-Sparse nu beschikbaar. Deze nieuwe release vervangt dichte aandacht door LongCat Sparse Attention (LSA) en ondersteunt native tot 1 miljoen tokens context, waardoor het geschikt is voor agenttaken met lange documenten.
Laguna S 2.1 vernieuwt context en kwantisatie. Poolside heeft nieuwe FP8- en NVFP4-checkpoints voor Laguna S 2.1 uitgebracht, waarbij de standaard contextgrootte is verhoogd naar 1M tokens en met de hoop een looping-probleem op te lossen dat de ontwikkelingsworkflows had belemmerd.
Dat was alles voor deze dag – ongeveer 5 minuten lezen.