Molto lavoro utile accade ancora dentro interfacce web: console di amministrazione, dashboard, CRM. Perché un agente LLM sia utile in questi flussi, deve saper operare direttamente nel browser. Un articolo di Towards Data Science mostra come costruirne uno con l’OpenAI Agents SDK e Playwright MCP, ed è utile soprattutto per il modello mentale che propone.
Il loop observe–decide–act
Un agente che usa il browser è un LLM inserito in un ciclo di interazione: parte da un task e dallo stato corrente della pagina, interpreta quello stato, decide l’azione successiva e la invia al browser; l’azione produce un nuovo stato, che diventa l’input della decisione seguente. Il ciclo continua finché l’agente ritiene il compito concluso.
Servono due canali. Uno di observation, con cui l’agente riceve lo stato della pagina (screenshot, informazioni strutturate come DOM o accessibility tree, o una combinazione). Uno di action, con cui interagisce (mouse e tastiera, elementi mirati, o comandi di più alto livello). In pratica si incontrano due abbinamenti: screenshot + azioni a coordinate, più vicino al computer use generale, e stato strutturato + azioni mirate sugli elementi, più specifico del browser. L’articolo sceglie il secondo.
Qui entra Playwright MCP: invece di uno screenshot, mostra all’agente un accessibility snapshot, cioè una lettura strutturata della pagina in cui link, bottoni e campi ricevono un reference ID che l’agente può indirizzare direttamente.
Il caso pratico
La dimostrazione usa una piccola console di supporto (HTML, CSS e JavaScript, senza backend). L’agente — configurato con il modello gpt-5.4 e reasoning effort medio — riceve un compito concreto: risolvere il caso dell’ordine ORD-1042, per cui il cliente segnala di aver ricevuto l’articolo sbagliato. L’agente individua il caso, ispeziona ordine, contesto cliente e policy di risoluzione, conclude che serve una sostituzione, aggiunge una nota interna e verifica l’audit log per confermare la registrazione.
La chiusura è il punto più utile: lo stesso pattern osserva–decidi–agisci si estende naturalmente dal browser al computer use generale. Cambiano solo i canali — screenshot e coordinate al posto dello stato strutturato e degli elementi mirati.
In sintesi
- Un browser-use agent è un LLM in un loop observe–decide–act con osservazione e azione come canali distinti.
- Playwright MCP espone la pagina come accessibility snapshot con reference ID, abilitando azioni mirate sugli elementi.
- Lo stesso schema si generalizza al computer use cambiando i canali di osservazione e azione.
Fonte: How to Give an LLM Agent a Browser — https://towardsdatascience.com/giving-an-llm-agent-a-browser/
Hai qualcosa da aggiungere? Unisciti alla discussione.