
Costruire un piccolo ChatGPT in un pomeriggio e con un budget da cena fuori. Il 13 ottobre Andrej Karpathy, già direttore dell’AI in Tesla e volto noto dell’IA, ha pubblicato NanoChat, un percorso completo per creare un clone funzionante di ChatGPT spendendo all’incirca cento dollari in potenza di calcolo. Non è l’ennesima libreria da incastrare, bensì un progetto didattico che porta la costruzione di modelli linguistici alla portata di chi possiede competenze tecniche di base.
NanoChat, annunciato su X, è l’evoluzione di nanoGPT, che si fermava al solo pretraining. La nuova versione copre l’intero sviluppo, dalla tokenizzazione BPE scritta in Rust al training su testi derivati da FineWeb-EDU, poi fine-tuning con supervised learning e, se serve, reinforcement learning opzionale. L’esperienza si chiude con un’interfaccia web che replica l’uso di ChatGPT. Il codice conta circa ottomila righe in quarantacinque file, scritto in PyTorch, senza dipendenze astruse né configurazioni labirintiche.
Il punto di forza è l’esecuzione tramite un unico script, speedrun.sh. Affittando un nodo con otto GPU H100 a ventiquattro dollari l’ora, in circa quattro ore si ottiene un modello da 560 milioni di parametri capace di sostenere conversazioni basilari, risolvere problemi semplici e scrivere codice elementare. Le prestazioni restano modeste, paragonabili a quelle di uno studente delle elementari, con punteggi 0.3876 su ARC-Easy e 0.3151 su MMLU. Karpathy prevede anche configurazioni più spinte. Con trecento dollari si arriva a un modello paragonabile a GPT-2, mentre con mille dollari emergono capacità di ragionamento e di codifica decisamente migliori.
Il progetto include componenti spesso trascurati nei prototipi accademici ma indispensabili in un sistema completo. Il motore di inferenza gestisce la cache KV per ottimizzare le prestazioni, implementa prefill e decodifica, e integra anche un interprete Python sandbox per abilitare l’uso di strumenti durante la generazione. Il training prevede una fase di mid-training su dataset conversazionali come SmolTalk e su dati strutturati da MMLU e GSM8K, poi supervised fine-tuning e un ciclo opzionale di reinforcement learning semplificato basato su GRPO. Ogni passaggio è documentato con metriche precise e resoconti automatici confrontabili.
NanoChat arriva in un passaggio delicato per la democratizzazione dell’IA. Mentre i modelli proprietari diventano più costosi e inaccessibili e il dibattito sull’uso dei dati di training si fa più acceso, il progetto offre trasparenza piena e riproducibilità scientifica. Destinato a diventare il progetto capstone del futuro corso LLM101n di Karpathy, mostra che si può capire ogni ingranaggio di un sistema di IA generativa senza budget milionari. L’innovazione non è nelle prestazioni finali, bensì nell’avere reso ispezionabile e modificabile l’intera pipeline. In un settore dominato da scatole nere e complessità voluta, un approccio così chiaro può diventare il punto di riferimento per la prossima ondata di ricercatori e sviluppatori, e forse anche un invito a rimettere le mani sul codice prima che sull’hype.
Per approfondire: link alla descrizione tecnica


