Nvidia ha rilasciato l'11 agosto 2026 Nemotron 3.5 Lightning, un modello linguistico aperto pensato per gli agenti IA che devono lavorare in modo continuo e veloce. Sulla carta e' un modello da 30 miliardi di parametri, ma con un'architettura a "esperti" (Mixture-of-Experts) che ne tiene attivi solo 3 miliardi per ogni richiesta: il risultato e' una velocita' di generazione molto alta a fronte di un costo di calcolo contenuto. E, cosa che interessa a chiunque voglia usarlo, e' scaricabile e modificabile liberamente grazie a una licenza permissiva (OpenMDW-1.1).

Cosa rende diverso Nemotron 3.5 Lightning

Le caratteristiche tecniche piu' rilevanti sono tre. La prima e' l'architettura ibrida, che alterna strati Mamba-2 e strati Mixture-of-Experts con alcuni livelli di attenzione: una scelta che riduce il peso computazionale delle sequenze lunghe. La seconda e' la finestra di contesto da 1 milione di token, che consente al modello di "leggere" documenti enormi o intere basi di codice in una sola volta. La terza e' la velocita': Nvidia dichiara fino a 4 volte la velocita' di generazione di modelli di dimensioni simili, complice anche il supporto a tecniche di speculative decoding.

Il modello e' stato pre-addestrato su oltre 20.000 miliardi di token ed e' orientato esplicitamente ai carichi agentici: assistenti "sempre accesi" che eseguono in serie molte operazioni specializzate, come chiamare strumenti, leggere risultati e decidere il passo successivo. Secondo Nvidia, offre un livello di intelligenza paragonabile a modelli aperti molto piu' grandi, a una frazione dei parametri.

L'architettura Mixture-of-Experts tiene attivi solo 3 miliardi di parametri su 30 per ogni richiesta.

Dove trovarlo: e' gratis

Nemotron 3.5 Lightning e' scaricabile e utilizzabile gratuitamente. Nvidia lo ha pubblicato su Hugging Face e ModelScope, lo ha reso disponibile via API su OpenRouter e lo offre anche dal proprio sito. Esistono diverse varianti dei pesi: la versione BF16 a precisione piena e alcune versioni quantizzate (per esempio in formato NVFP4), pensate per ridurre l'occupazione di memoria.

Attenzione ai requisiti hardware: nonostante solo 3 miliardi di parametri siano attivi a ogni passo, i 30 miliardi complessivi vanno comunque caricati in memoria. Per la versione BF16 servono GPU con parecchia VRAM (indicativamente una scheda da 48-80 GB, come una singola H100, o piu' schede consumer di fascia alta); con le varianti quantizzate i requisiti scendono, ma resta un modello pensato piu' per workstation e server che per un portatile qualsiasi.

Come provarlo passo passo

Il modo piu' semplice per scaricare i pesi e' la CLI ufficiale di Hugging Face:

pip install -U "huggingface_hub[cli]"
huggingface-cli download nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 --local-dir ./nemotron-lightning

Per servirlo in locale con prestazioni ottimali conviene usare vLLM, che espone un'API compatibile con quella di OpenAI:

pip install vllm
vllm serve ./nemotron-lightning --served-model-name nemotron-lightning --max-model-len 131072

A questo punto puoi interrogarlo come faresti con l'API di OpenAI, cambiando solo l'indirizzo del server:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"nemotron-lightning","messages":[{"role":"user","content":"Riassumi in 5 punti i vantaggi di un modello Mixture-of-Experts"}]}'

Se non hai una GPU adeguata, l'alternativa immediata e' l'API di OpenRouter, che non richiede alcun hardware locale:

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer LA_TUA_CHIAVE" \
  -H "Content-Type: application/json" \
  -d '{"model":"nvidia/nemotron-3.5-lightning","messages":[{"role":"user","content":"Scrivi una funzione Python che verifica se una stringa e palindroma"}]}'

Con un prompt come quello dell'ultimo esempio ti aspetti in risposta una funzione Python corretta e commentata, generata molto rapidamente: e' proprio nella reattivita' su compiti brevi e ripetuti che il modello da' il meglio.

Per chi ha senso

Nemotron 3.5 Lightning non e' pensato per chi cerca semplicemente un chatbot: e' un mattone per chi costruisce agenti e automazioni. Se sviluppi assistenti che devono eseguire molte piccole operazioni in sequenza, elaborare documenti lunghissimi o girare su infrastruttura propria per motivi di costo o privacy, questo modello aperto e veloce e' un'opzione seria e a costo zero di licenza. Per un uso occasionale o senza hardware dedicato, invece, conviene provarlo prima via OpenRouter e valutare se le prestazioni giustificano il passaggio all'auto-hosting.