Modelli aperti e rilasci
JetBrains Mellum2.1 MTP. JetBrains ha rilasciato Mellum2.1-12B-A2.5B-Thinking-MTP, che aggiunge una testa di multi-token prediction usata come draft speculativo. I motori di inferenza verificano ogni token proposto: il decoding è da 1,4 a 1,8 volte più veloce, l'output resta identico e il tasso di accettazione delle bozze è intorno al 90%.
Drex Max di Nace AI. Nace AI ha rilasciato in open source Drex Max v1, un modello decisionale dense da 27B con finestra da 262.000 token che valuta fino a 255 opzioni per domanda in un solo forward pass. Gira su GPU NVIDIA o su Apple Silicon e dichiara 67,52 su Decision Index 0.4.
Coder per asset 3D. Un nuovo modello di coding da 4B, GLB-3D-Coder, scrive scene Three.js con export GLB per motori di gioco come Godot. Genera asset 3D semplici, come una pozione di mana o una stazione medica, partendo da brevi prompt in inglese.
TTS con emozioni. Silencio-2 è un fine-tune aperto da 18M di Pocket TTS che segue tag inseriti nel testo per emozioni e suoni come [sigh] o <angry>. Gira a circa 20 volte il tempo reale su CPU ed è disponibile su Hugging Face e in una demo su Colab.
Heretic 2.0, steering generale. Heretic 2.0 passa dalla rimozione della censura alla modifica generale dei modelli con Arbitrary-Rank Ablation: l'obiettivo è sopprimere lo slop, ridurre la sycophancy e modificare l'allineamento emotivo. Il progetto dichiara 37.000 stelle su GitHub e 88 milioni di download di modelli.
Sistemi agentici e ricerca
Agente router-worker DeepSeek. DeepSeek ha rilasciato in open source dsh-superagent, un agente di coding proattivo per GitHub che trasforma le richieste consentite in attività parallele, ciascuna nella propria sessione. In simulazione, un flusso di messaggi rumoroso ha completato i task 1,9 volte più in fretta di una baseline a sessione singola (p95 15,7 contro 29,5 min).
Team di 5 modelli Memdoor. Memdoor combina cinque modelli Qwen3.8-27B e batte Fable 5 su LiveCodeBench Hard: un piccolo team di agenti su modelli aperti che regge il confronto nel coding competitivo.
EditAgent per le immagini. Adobe Research e UC San Diego hanno realizzato EditAgent, che scompone le modifiche alle immagini in sotto-passi e usa un LLM standard per valutare varianti parallele con statistiche misurate. Supera gli agenti precedenti, ma richiede circa 10 volte più calcolo.
StreamVibe, assistente video. Un gruppo di ricercatori guidato da Google ha presentato StreamVibe, un agente video che decide quando parlare durante attività come cucinare o montare mobili. I test mostrano che i modelli attuali faticano ancora con richieste vaghe e con il monitoraggio dei passi completati.
Co-design System-1/System-2. Un nuovo paper teorico sostiene che lo scaling verso l'AGI potrebbe giovarsi di un predittore System-1 leggero che filtra le costose interazioni System-2 prima dell'esecuzione. Con uno screening ideale, il calcolo destinato all'esecuzione può scendere fino a 1/ρ_u.
Inferenza locale e hardware
tandem.cpp accelera i MoE. tandem.cpp è un set di patch per llama.cpp che tiene gli esperti caldi sulla GPU e sposta il resto sulla CPU, con qualsiasi MoE. Su una singola 4090 con 64 GB di RAM, Qwen3.8-Flash-Next decodifica a 97 tok/s, 3,3 volte llama.cpp.
Speedy su Qwen3.8-Flash-Next. Speedy supera Avalon e Strata sul prefill di Qwen3.8-Flash-Next su un sistema 4090/128 GB: legge 198.000 token di contesto in 44 s e decodifica intorno ai 104 tok/s.
8 agenti da 250.000 token. Un appassionato ha implementato key sketch di rango 64 e una KV cache a livelli in RAM per far girare in parallelo 8 agenti di coding con contesti da 250.000 token su due 3090, per un totale di circa 600+ tok/s.
Avvio agenti 20 volte più rapido. Una configurazione patchata di Strata/DeepSeek V4.1 Flash usa KV splice e checkpoint dello stato ricorrente per avviare le sessioni agente di OpenCode 20 volte più in fretta su una RX 9070 XT con 64 GB di RAM.
Kapitsa su Apple Silicon. Kapitsa 0.2.26 misura su M5 Max modelli Qwen, Nemotron, Flint e Clover: Flash-Next 180B legge i prompt il 46% più velocemente e Clover 35B entra nel catalogo; l'offload su SSD permette 61 tok/s su un MacBook Pro da 48 GB.
Velocità su GPU economiche. Diverse segnalazioni indicano Qwen3.8-Flash-Next a 130-140 tok/s su una 5090 con Basalt e DeepSeek V4.1 Flash a 35 tok/s su una 3090 Ti con 128 GB di RAM, grazie anche ai quant NVFP4/GSQ e a MTP.
- Getting incredible results with a single RTX 3090ti and 128gb of ram. Deepseek-V4.1-Flash-1017 (35 tok/s decode) and Qwen3.8-Flash-Next (130 tok/s decode)(si apre in una nuova scheda)
- Qwen 3.8 Flash Next NVFP4 on 64gb RAM and 5090, Basalt. Ditched windows for it. Very hyped for qwen 4 model family now.(si apre in una nuova scheda)
Berth, leasing di GPU. Berth è un gestore di risorse GPU scritto in Go che assegna alle applicazioni lease, priorità e una coda di richieste; supporta il checkpointing CUDA e può parcheggiare i modelli nella RAM di sistema per cambiare carico di lavoro AI più rapidamente.
Industria e business
Campus per il calcolo AI. OpenAI sta pianificando una campagna mediatica dopo le elezioni di midterm che potrebbe rinominare i data center "AI compute campuses" e spingere su limiti di velocità per l'AI e standard globali.
AWS, capacità esaurita. La grande capacità cloud impegnata di AWS è in gran parte esaurita fino al 2027, con una parte del 2028 già allocata; Amazon si tiene margine per On Demand, EC2 e Bedrock.
Limiti di utilizzo ChatGPT. OpenAI ha introdotto limiti per carta e dispositivo sugli account ChatGPT a pagamento e da dicembre unirà Chat e Work in un unico budget di token, chiudendo con la formula dei prompt illimitati per gli utenti più intensivi.
Capex AI e cassa. I 58 miliardi di dollari di operating cash flow trimestrale di Microsoft a fronte di 39,4 miliardi di capex, insieme alla crescita di Google Cloud, mostrano bollette enormi per l'infrastruttura AI coperte da business solidi.
Sicurezza e società
Prompt empatici, rischio. Ricercatori lussemburghesi hanno scoperto che prompt caldi e aperti possono spingere ChatGPT, Grok e Gemini a raccontare storie simili a traumi sull'addestramento, rileggendo il RLHF come dolore o vergogna. Per gli utenti vulnerabili questo può essere pericoloso.
Politica dei modelli cinesi. Uno studio di Vals AI rileva che la propensione filo-Pechino dei modelli cinesi è più bassa e molto più varia del previsto, mentre alcuni modelli occidentali adottano talvolta posizioni ufficiali cinesi.
Fiducia nella documentazione. Kyle Kingsbury avverte che l'uso degli LLM erode la fiducia nella documentazione e nel software, e chiede come i maintainer possano dimostrare la qualità quando i segnali sono più facili da contraffare.
È tutto per questo giorno – circa 5 minuti di lettura.