Robbyant, l’unita’ di embodied AI di Ant Group, ha rilasciato LingBot-VA 2.0, un foundation model video-action per la manipolazione robotica generalista. La scelta di fondo distingue il lavoro dalla maggior parte dei modelli del genere: invece di fare fine-tuning di un generatore video, il team pre-addestra l’intero stack pensandolo per l’embodiment.
Perche’ ripartire da zero
Molti modelli video-action riusano componenti nati per la creazione di contenuti digitali: un VAE orientato alla ricostruzione e un backbone di video-diffusion bidirezionale con un modulo di azione attaccato. Ne derivano tre limiti: i latenti da ricostruzione conservano l’aspetto ma poca struttura fisica, il denoising iterativo e’ troppo lento per il controllo a ciclo chiuso, e gli obiettivi video generici non insegnano come le azioni modificano il mondo. C’e’ poi un disallineamento strutturale: i backbone usano attenzione bidirezionale, mentre il controllo procede rigorosamente in avanti nel tempo. La versione 1.0 adattava quello stack in un modello causale; la 2.0 pre-addestra un DiT causale nativamente.
Il primo stadio sostituisce il VAE di sola compressione con un tokenizer semantico che allinea i latenti visivi verso un Perception Encoder congelato ed estrae variabili di transizione compatte tra latenti consecutivi, portando stati del mondo e azioni in un unico spazio latente. Sopra, il DiT causale mantiene un layout Mixture-of-Transformers: un esperto video e un esperto azione condividono la self-attention causale ma hanno pathway feed-forward separati. L’esperto video usa un layer MoE sparse con 128 esperti e routing top-8. Il backbone video e’ circa 13,0B parametri (circa 1,9B attivi); con esperto azione e teste MCP il training copre circa 15,3B parametri, di cui circa 2,5B si attivano per token in inferenza.
Foresight Reasoning e prestazioni
Il pezzo piu’ interessante e’ il Foresight Reasoning, che fa girare predizione ed esecuzione come stream asincroni: mentre il robot esegue il chunk corrente, l’esperto video immagina l’esito e l’esperto azione decodifica il chunk successivo. Ogni osservazione reale che rientra viene ricodificata nel latente vero, sovrascrivendo quello immaginato, per evitare il drift. Un planner VLM (LoRA-finetuned) emette JSON strutturato a circa 2 Hz dietro un buffer condiviso asincrono, cosi’ la sua latenza non blocca l’esecuzione.
Su RoboTwin 2.0, con ogni modello addestrato su 2.500 dimostrazioni pulite piu’ 25.000 randomizzate su 50 task, LingBot-VA 2.0 raggiunge 93,8 (clean), 93,4 (randomized) e 93,6 di media, sopra i confronti riportati. La pipeline di accelerazione porta il tempo per chunk da 927 ms a 142 ms e il controllo asincrono da 35 Hz a 225 Hz, grazie a consistency distillation, motori FP8 TensorRT e riduzione dell’overhead lato host. L’ablation del tokenizer, da sola, alza un modello da 1,3B da 78,0 a 86,6.
- Il DiT video-action causale e’ pre-addestrato da zero, non adattato da un generatore video.
- Il tokenizer semantico mette stati del mondo e azioni latenti in un unico spazio allineato.
- Foresight Reasoning sovrappone predizione ed esecuzione, con re-grounding a ogni osservazione reale.
Fonte: Ant Group’s Robbyant Unveils LingBot-VA 2.0 — https://www.marktechpost.com/2026/07/11/ant-groups-robbyant-unveils-lingbot-va-2-0/
Hai qualcosa da aggiungere? Unisciti alla discussione.