Molti usano ancora l’AI come una casella di ricerca: si scrive, si legge, si riscrive. Il loop engineering sostituisce questo botta e risposta manuale con un ciclo. Si definisce l’obiettivo una volta, poi il modello pianifica, agisce, verifica il proprio risultato e ripete. La guida di MarkTechPost si appoggia a due artefatti verificati: il repository autoresearch di Andrej Karpathy e il paper Bilevel Autoresearch. Il tema conta perché un loop merita il suo costo solo quando il lavoro è misurabile.
Le tre parti di un loop
Ciò che distingue un vero loop da un chatbot ripetuto sono tre componenti: un verifier che valuta ogni tentativo (un test che passa, una metrica che si muove, una build); lo state, che registra cosa è stato provato, cosa è fallito e cosa resta, così da riprendere invece di ricominciare; e una stop condition che ferma il ciclo quando l’obiettivo è raggiunto o dopo N tentativi, evitando costi fuori controllo.
Il Karpathy Loop
Rilasciato il 7 marzo 2026 sotto licenza MIT, autoresearch comprende tre file principali e circa 630 righe di codice, e secondo l’articolo ha raggiunto quasi 90.000 stelle su GitHub. Il design è volutamente piccolo ma rigido: l’agente può modificare solo train.py, mentre non può toccare le utility di valutazione in prepare.py. Questa separazione impedisce all’agente di rendere il test più facile invece di migliorare il modello. La metrica è val_bpb (validation bits per byte, dove più basso è meglio) e ogni ciclo esegue un esperimento con circa cinque minuti di training, ovvero circa 12 esperimenti l’ora.
I risultati riportati sono concreti: puntato sul codice già ottimizzato di nanochat, in due giorni ha completato circa 700 esperimenti mantenendo 20 miglioramenti reali, che sommati hanno ridotto dell’11% il tempo di training (da 2,02 a 1,80 ore). Karpathy segnala anche che il CEO di Shopify Tobi Lütke ha riportato un miglioramento del 19% dopo 37 esperimenti su un modello interno.
Bilevel Autoresearch
Il paper aggiunge un secondo livello. Il loop interno replica l’originale (proponi, addestra, valuta, tieni o scarta); il loop esterno osserva quello interno, legge codice e trace, individua dove la ricerca si blocca e inietta a runtime nuovi meccanismi in Python. Sul benchmark di pretraining di Karpathy, il loop esterno ha ridotto val_bpb cinque volte più del singolo loop (-0,045 contro -0,009), con lo stesso LLM per entrambi: il guadagno viene dall’architettura, non da un modello migliore. Gli esperimenti riportati usavano una RTX 5090 da 32GB e un budget di 300 secondi.
- Un loop richiede sempre tre parti: verifier, state persistente e stop condition.
- Separare chi scrive da chi valuta evita che l’agente si dia ragione da solo.
- I loop spostano il lavoro verso design e revisione, non eliminano il pensiero.
Fonte: Guide to Loop Engineering — https://www.marktechpost.com/2026/07/12/guide-to-loop-engineering/
Hai qualcosa da aggiungere? Unisciti alla discussione.