Nel giorno in cui Mira Murati sfida NVIDIA con il suo Inkling — rivendicando di consumare un terzo dei token di Nemotron 3 Ultra a parita' di prestazioni sul codice — vale la pena ricordare che proprio quella famiglia di modelli, Nemotron 3, e' oggi una delle piu' interessanti per chi vuole far girare l'IA gratis e in locale. NVIDIA, infatti, non vende solo le GPU: pubblica anche modelli aperti con pesi, dati e ricette di addestramento, pensati per costruire agenti efficienti.
La famiglia: Nano, Super e Ultra
Nemotron 3 si articola in tre taglie, tutte a «mistura di esperti» per massimizzare l'efficienza:
- Nemotron 3 Nano: 30 miliardi di parametri totali, di cui appena 3 attivi per richiesta (indicato come 30B-A3B). E' il modello giusto per un PC potente o una workstation, con una finestra di contesto fino a 1 milione di token.
- Nemotron 3 Super: 120 miliardi di parametri (12 attivi), per chi ha piu' memoria video a disposizione.
- Nemotron 3 Ultra: 550 miliardi di parametri (55 attivi), il modello di punta, pensato per server e cluster.
Il tutto sotto la NVIDIA Open Model License, che consente anche l'uso commerciale. Su Nano, NVIDIA dichiara throughput fino a 3,3 volte superiore rispetto a Qwen3-30B e 2,2 volte rispetto a gpt-oss-20b in una configurazione su singola GPU H200, con accuratezza in linea o superiore su piu' benchmark.
Quanta memoria serve
La regola pratica: per far girare un modello quantizzato servono all'incirca tanti gigabyte di RAM o VRAM quanti sono i miliardi di parametri «pesati». Nemotron 3 Nano, in versione quantizzata (per esempio GGUF a 4 bit), sta in circa 18-22 GB, quindi e' alla portata di una GPU da 24 GB o di un Mac con memoria unificata generosa. Super e Ultra richiedono invece configurazioni ben piu' impegnative, adatte a chi ha piu' schede o lavora su server.
Come scaricarlo e usarlo, passo per passo
Il modo piu' semplice, senza scrivere codice, e' LM Studio: si installa l'app, si cerca «Nemotron 3 Nano» nel catalogo, si scarica una versione quantizzata (per esempio Q4_K_M) e si chatta subito. In alternativa, chi preferisce il terminale puo' usare llama.cpp con i file GGUF pubblicati sulla community (per esempio da Unsloth) su Hugging Face:
# Scaricare un file GGUF quantizzato
pip install -U "huggingface_hub[hf_xet]"
hf download unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF --include "*Q4_K_M*" --local-dir ./nemotron
# Avviare una chat con llama.cpp
llama-cli -m ./nemotron/*Q4_K_M*.gguf -p "Spiegami cosa e' un mixture-of-experts."Per chi sviluppa e vuole prestazioni da server, i modelli si possono servire con vLLM, TRT-LLM o SGLang, esponendo un'API compatibile OpenAI:
pip install vllm
vllm serve nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8
# poi, da un altro terminale:
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-FP8","messages":[{"role":"user","content":"Ciao, chi sei?"}]}'Un prompt di prova utile per valutarlo e' un compito «agentico», ad esempio chiedergli di ragionare passo passo su un problema e restituire il risultato in JSON: e' proprio su questi compiti che Nemotron 3 e' stato ottimizzato.
Quando ha senso e quando no
Nemotron 3 e' una scelta eccellente per costruire agenti, chatbot e sistemi RAG che devono girare in locale o su infrastruttura propria, senza inviare dati a terzi e senza costi per token. Non e' invece la strada piu' comoda se cercate semplicemente la qualita' massima «chiavi in mano»: in quel caso i modelli chiusi via API restano piu' immediati. Ma per privacy, controllo e costi, poter scaricare un modello efficiente e con licenza commerciale — e farlo girare sul proprio hardware — resta uno dei grandi vantaggi dell'ecosistema aperto.
