Di recente Andrej Karpathy, ricercatore tra i più noti nel campo dell’intelligenza artificiale, ha pubblicato un codice di circa duecento righe che implementa da zero un modello linguistico. Nessuna libreria, nessun framework: solo la logica essenziale di come funzionano questi sistemi.
Il principio: il modello impara quali lettere tendono a seguire altre lettere. Niente parole, niente significati. Solo probabilità.
Il risultato è linguaggio, o qualcosa che gli assomiglia abbastanza da ingannare.
Se il linguaggio si riduce a sequenze di probabilità, quanto spesso anche noi parliamo così? Per abitudine, per inerzia, per quello che viene naturalmente dopo nella sequenza.
La differenza è che possiamo fermarci. Cercare la parola giusta, o non dirla. La macchina deve sempre completare.
Riferimento: Andrej Karpathy, microGPT — gist.github.com/karpathy