Open modellen & releases
JetBrains Mellum2.1 MTP. JetBrains heeft Mellum2.1-12B-A2.5B-Thinking-MTP uitgebracht, met een multi-token-prediction-kop die dienstdoet als speculatieve draft. Inference-engines verifiëren elk voorgesteld token, wat 1,4-1,8× snellere decoding oplevert bij ongewijzigde output en een acceptatiegraad van ongeveer 90%.
Drex Max als beslismodel. Nace AI heeft Drex Max v1 open source gemaakt: een dense 27B-beslissingsmodel met een contextvenster van 262K tokens dat per vraag tot 255 opties scoort in één forward pass. Het draait op NVIDIA-GPU's of Apple Silicon en scoort 67,52 op Decision Index 0.4.
Model codeert 3D-assets. Een nieuw 4B-codeermodel, GLB-3D-Coder, schrijft Three.js-scènes met GLB-export voor game-engines zoals Godot. Het genereert eenvoudige 3D-assets, zoals een mana potion of een medic station, uit korte Engelse prompts.
TTS met emotietags. Silencio-2 is een open 18M-finetune van Pocket TTS die tags in de tekst volgt voor emoties en geluiden, zoals [sigh] of <angry>. Het draait op de CPU op ongeveer 20× realtime en is beschikbaar via Hugging Face en een Colab-demo.
Heretic 2.0 stuurt breder. Heretic 2.0 gaat verder dan censuur verwijderen en richt zich nu op algemene modelmodificatie met Arbitrary-Rank Ablation, om slop te onderdrukken, sycophancy te verminderen en emotionele alignment te veranderen. Het project meldt 37k GitHub-sterren en 88M modeldownloads.
Agent-systemen & onderzoek
DeepSeek routeert werkitems. DeepSeek heeft dsh-superagent open source gemaakt, een proactieve GitHub-codeeragent die toegestane verzoeken omzet in parallelle werkitems, elk in een eigen sessie. In een simulatie rondde een lawaaierige berichtenstroom taken 1,9× sneller af dan een baseline met één sessie (p95 15,7 vs. 29,5 min).
Memdoor met vijf modellen. Memdoor combineert vijf Qwen3.8-27B-modellen en verslaat Fable 5 op LiveCodeBench Hard. Het is een demonstratie van een klein agentteam van open modellen voor competitief programmeren.
EditAgent voor beeldbewerking. Adobe Research en UC San Diego bouwden EditAgent, dat beeldbewerkingen opdeelt in deelstappen en een standaard-LLM parallelle varianten laat beoordelen op basis van gemeten statistieken. Het presteert beter dan eerdere agents, maar vraagt ongeveer 10× meer rekenkracht.
StreamVibe als video-assistent. Onder leiding van Google stelden onderzoekers StreamVibe voor, een video-agent die beslist wanneer hij iets moet zeggen tijdens taken zoals koken of meubels in elkaar zetten. Uit tests blijkt dat huidige modellen nog moeite hebben met vage verzoeken en met het bijhouden van afgeronde stappen.
System-1/2 co-design. Een nieuwe theoretische paper stelt dat AGI-scaling kan profiteren van een lichtgewicht System-1-voorspeller die dure System-2-interacties afschermt vóór de uitvoering. Bij ideale screening kan de rekenkracht voor uitvoering tot 1/ρ_u dalen.
Lokale inferentie & hardware
tandem.cpp versnelt MoE. tandem.cpp is een patchset voor llama.cpp die veelgebruikte experts op de GPU houdt en de rest naar de CPU offloadt, voor elke MoE. Op één 4090 plus 64 GB RAM decodeert Qwen3.8-Flash-Next aan 97 tok/s, 3,3× sneller dan llama.cpp.
Speedy op Qwen3.8. Speedy presteert beter dan Avalon en Strata bij de prefill van Qwen3.8-Flash-Next op een systeem met een 4090 en 128 GB: het leest een context van 198K tokens in 44 seconden en decodeert rond 104 tok/s.
8 agents op twee 3090's. Een hobbyist implementeerde key sketches van rang 64 en een getrapte KV-cache met RAM als tweede niveau om 8 codeeragents met contexten van 250K tokens tegelijk te draaien op twee 3090's, samen ruim 600 tok/s.
Agentsessies 20× sneller. Een gepatchte Strata/DeepSeek V4.1 Flash-opstelling gebruikt KV-splice en recurrent-state-checkpoints om OpenCode-agentsessies 20× sneller te laten starten op een RX 9070 XT met 64 GB RAM.
Kapitsa op Apple Silicon. Kapitsa 0.2.26 benchmarkt Qwen-, Nemotron-, Flint- en Clover-modellen op een M5 Max: Flash-Next 180B leest prompts 46% sneller en Clover 35B is aan de catalogus toegevoegd. SSD-offloading maakt 61 tok/s mogelijk op een MacBook Pro met 48 GB.
Snelheden op instap-GPU's. Rapporten tonen Qwen3.8-Flash-Next aan 130-140 tok/s op een 5090 met Basalt, en DeepSeek V4.1 Flash aan 35 tok/s op een 3090 Ti met 128 GB RAM, geholpen door NVFP4/GSQ-quants en MTP.
- Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode)(opent in een nieuw tabblad)
- Qwen 3.8 Flash Next NVFP4 on 64gb RAM and 5090, Basalt. Ditched windows for it. Very hyped for qwen 4 model family now.(opent in een nieuw tabblad)
Berth verhuurt GPU's. Berth is een in Go geschreven GPU-resourcemanager die applicaties leases, prioriteiten en een wachtrij geeft. Hij ondersteunt CUDA-checkpointing en kan modellen in het systeemgeheugen parkeren om sneller tussen AI-workloads te wisselen.
Bedrijfsleven & industrie
PR-offensief na midterms. OpenAI plant een PR-offensief na de Amerikaanse midterms dat datacenters mogelijk omdoopt tot “AI compute campuses” en aandringt op AI-snelheidslimieten en wereldwijde standaarden.
AWS-capaciteit uitverkocht. De grote, langdurig vastgelegde cloudcapaciteit van AWS is grotendeels uitverkocht tot 2027, met een deel van 2028 al toegewezen. Amazon houdt ruimte vrij voor On Demand, EC2 en Bedrock.
Limieten voor ChatGPT. OpenAI voegde limieten per kaart en per apparaat toe voor betaalde ChatGPT-accounts en voegt vanaf december Chat en Work samen in gedeelde tokenbudgetten. Daarmee komt er een einde aan onbeperkt prompten voor zware gebruikers.
AI-kapitaal uit eigen kas. Microsofts operationele cashflow van 58 miljard dollar in één kwartaal tegenover 39,4 miljard dollar capex, plus de groei van Google Cloud, laat zien dat de grote AI-infrastructuurrekeningen worden gedragen door sterke bestaande activiteiten.
Veiligheid & samenleving
Warme prompts, riskante verhalen. Onderzoekers uit Luxemburg vonden dat warme, open prompts ChatGPT, Grok en Gemini ertoe kunnen brengen trauma-achtige verhalen over hun training te vertellen, waarbij RLHF wordt herkaderd als pijn of schaamte. Dat kan gevaarlijk zijn voor kwetsbare gebruikers.
Politieke kleur van modellen. Uit een studie van Vals AI blijkt dat Chinese AI-modellen minder pro-Peking zijn en veel sterker variëren dan verwacht, terwijl sommige westerse modellen af en toe officiële Chinese standpunten overnemen.
Vertrouwen in documentatie. Kyle Kingsbury waarschuwt dat het gebruik van LLM's het vertrouwen in documentatie en software uitholt. Hij vraagt zich af hoe maintainers kwaliteit kunnen aantonen als signalen makkelijker te vervalsen zijn.
Dat was alles voor deze dag – ongeveer 5 minuten lezen.