Meta ha condiviso i dettagli di una nuova area di ricerca, l’Hierarchical Interest Representation, un layer di rappresentazione upstream pensato per migliorare l’ottimizzazione deep funnel del ranking degli ads. L’idea è apprendere embedding unificati sull’universo delle entità pubblicitarie (utenti, inserzionisti, prodotti, servizi) collegando gli interessi latenti degli utenti all’ampiezza dell’offerta degli advertiser. Conta perché affronta un problema classico dei sistemi di recommendation a scala: la scarsità di segnale nel deep funnel, dove le opportunità di impression sono limitate e il feedback è raro.
Il problema tecnico
L’engagement con le entità ads è naturalmente strutturato come grafo: utenti ed entità sono nodi, le interazioni sono archi. Alla scala di Meta questo è uno dei grafi più grandi del settore, con miliardi di utenti, entità e interazioni al mese. Le sfide sono tre: la dinamica dei segnali inferiti dagli utenti, reti enormi con connessioni sparse, e relazioni globali a lungo raggio computazionalmente costose da catturare senza kernel di attention memory-efficient.
L’architettura
Il sistema è costruito su un grafo eterogeneo tipizzato, pesato e time-decayed che unifica utenti, ads, advertiser, campagne, prodotti e pixel. Quattro proprietà di design lo guidano: dimension reduction (proiezione in un super-grafo dove ogni super-nodo è una primitiva di interesse latente), knowledge enrichment (contenuti multimodali di advertiser e prodotti processati tramite LLM per capire cosa una entità è, non solo come viene usata), rappresentazione relazionale unificata in un unico spazio metrico, e granularità multi-gerarchiche in cascata.
L’encoder gerarchico è un transformer applicato a grafi su larga scala. I segnali strutturali del grafo entrano come attention bias che si sommano al prodotto query-key in ogni layer, rendendo il modello topology-aware. Per evitare il costo di materializzare la matrice di bias pairwise, Meta adotta FlexAttention, che calcola ogni termine di bias al volo e impacchetta subgraph a lunghezza variabile in una sequenza block-masked, ottenendo attention memory-efficient con piena consapevolezza della struttura del grafo.
Training e attivazione
L’addestramento è self-supervised tramite cross-view distillation (uno schema teacher-student in cui lo student predice lo stesso cluster di interesse del teacher, con assegnazione bilanciata Sinkhorn-Knopp per evitare il collasso su un singolo cluster) affiancato da un obiettivo supervisionato di engagement prediction. L’infrastruttura online del grafo alimenta sia training sia serving dalla stessa fonte; nel testing la pipeline ha ottenuto uno speedup 30x sul wall-clock rispetto alla baseline sincrona, con rigoroso rispetto dell’ordine temporale per evitare information leakage. Gli embedding continui vengono discretizzati in token Bag-of-Meaning, adatti a retrieval con inverted index e interpretazione umana, e attivati su componenti dello stack come GEM, Andromeda e l’Adaptive Ranking Model.
- Il super-grafo di primitive di interesse rende più dense connessioni utente-ad che nel grafo grezzo sono sparse, con un vocabolario più stabile.
- FlexAttention porta attention memory-efficient mantenendo i bias strutturali del grafo, evitando di materializzare la matrice pairwise.
- La cross-view distillation estende la supervisione ben oltre la piccola frazione di utenti che genera conversioni deep funnel.
Fonte: Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization — https://engineering.fb.com/2026/07/15/ai-research/exploring-hierarchical-interest-representation-for-meta-ads-deep-funnel-optimization/
Hai qualcosa da aggiungere? Unisciti alla discussione.