Il testing dell’esperienza utente (UX) valuta quanto sia facile per le persone completare un compito su un’interfaccia: trovare un prodotto, creare un account, concludere un acquisto. A differenza del QA funzionale, guarda i workflow per individuare frizioni di navigazione. Il problema è che il testing manuale non scala, e gli strumenti di automazione tradizionali si basano su script con selettori hard-coded che si rompono ogni volta che l’interfaccia cambia. AWS propone un approccio diverso basato su Amazon Nova Act, un foundation model multimodale che naviga i siti web interpretando gli screenshot come farebbe un tester umano, adattandosi ai cambiamenti dell’interfaccia dove Selenium o Playwright si romperebbero.
Un’architettura in quattro layer
La soluzione di riferimento, deployabile via AWS CDK, è organizzata in quattro livelli. Il documentation processing layer conserva su Amazon S3 la documentazione del sito e la ingerisce in un Amazon Bedrock Knowledge Base; una funzione Lambda usa Claude 4.5 Sonnet per trasformare i task utente in scenari di test dettagliati, generando istruzioni a tre livelli di granularità, da obiettivi di alto livello fino ai passi puntuali. L’orchestration layer usa DynamoDB e i suoi Streams per innescare l’elaborazione batch e coordinare l’esecuzione. L’execution layer gira su Amazon ECS con AWS Fargate, con agenti Nova Act che eseguono i flussi in sessioni browser parallele. L’analysis layer elabora i risultati con Bedrock per calcolare punteggi di usabilità e identificare i punti di attrito, presentandoli in una dashboard React.
Come si usa e cosa produce
Per creare i flussi ci sono tre opzioni: generazione automatica dalla documentazione, definizione manuale o un approccio ibrido, consigliato per stabilire una copertura di base e poi aggiungere casi limite specifici. Nella generazione automatica si caricano su S3 la documentazione e un file tasks.json, e il sistema, consultando la knowledge base, produce scenari eseguibili. La definizione manuale inserisce i flussi direttamente in DynamoDB, con campi come starting_url, instructions, method_name e gran_n per il livello di granularità. È possibile configurare sessioni browser persistenti per testare flussi che richiedono autenticazione, ed estrarre dati strutturati tramite schemi Pydantic.
Ogni esecuzione genera su S3 un file di metriche di sintesi (results_summary.json) con durata, numero di azioni e stato di successo per ciascuno step, oltre a report HTML dettagliati con screenshot e ragionamento dell’agente. La dashboard separa i fallimenti di infrastruttura da quelli reali dell’agente e mostra come il livello di dettaglio delle istruzioni incide sull’esperienza testata.
- Nova Act naviga per comprensione visiva, adattandosi ai cambiamenti dell’interfaccia dove gli script tradizionali falliscono.
- L’architettura in quattro layer genera scenari dalla documentazione ed esegue i flussi in parallelo su Fargate.
- L’analisi automatica distingue errori infrastrutturali da veri problemi di usabilità e li rende leggibili in dashboard.
Fonte: Scaling UX testing with Amazon Nova Act: A new approach to user flow analysis — https://aws.amazon.com/blogs/machine-learning/scaling-ux-testing-with-amazon-nova-act-a-new-approach-to-user-flow-analysis/
Hai qualcosa da aggiungere? Unisciti alla discussione.