Thinking Machines Lab rilascia Inkling, MoE multimodale da 975B a pesi aperti

Thinking Machines Lab ha rilasciato Inkling, il suo primo modello addestrato da zero e distribuito a pesi aperti. È un Mixture-of-Experts con 975B parametri totali e 41B attivi, con una context window fino a 1M token. Il pretraining ha coperto 45 trilioni di token tra testo, immagini, audio e video; gli input accettano testo, immagini e audio, mentre l’output è solo testo UTF-8. Il lab lo propone come base per la customization, ed è già disponibile per il fine-tuning su Tinker. È stato anche mostrato in anteprima Inkling-Small, un MoE da 276B parametri (12B attivi) i cui pesi arriveranno a test conclusi.

Architettura

Il modello è un transformer decoder-only a 66 layer con backbone MoE sparso: ogni layer MoE contiene 256 expert instradati più 2 expert condivisi, con 6 expert instradati attivi per token e i due condivisi sempre attivi. Il router è basato su sigmoid con bilanciamento del carico senza auxiliary loss, un design che segue in larga parte DeepSeek-V3. L’attention si discosta dalle convenzioni: layer sliding-window e globali si alternano con rapporto 5:1 e 8 KV head, e la posizione usa un embedding relativo invece di RoPE, che secondo il lab estrapola meglio. La multimodalità è encoder-free: l’audio entra come spettrogrammi dMel e le immagini come patch da 40×40 pixel. Il training ha usato Muon per le matrici grandi e Adam per il resto, su sistemi NVIDIA GB300 NVL72, con gran parte del compute dedicato a RL asincrono oltre i 30M rollout.

Thinking effort regolabile

La caratteristica più interessante per chi costruisce pipeline è il controllo del thinking effort: durante l’RL il modello ha imparato a spendere budget di token diversi, e l’effort può essere impostato direttamente (nel range 0.2–0.99, oppure via l’argomento reasoning_effort in transformers). Il dato concreto: Inkling usa un terzo dei token di Nemotron 3 Ultra a parità di risultato su Terminal Bench 2.1. Costo e latenza diventano quindi regolabili per singola chiamata, non fissi per modello.

Prestazioni e deployment

Sui benchmark (a effort 0.99), il modello è competitivo nel gruppo open-weights: guida su FORTRESS Adversarial con 78.0%, ma resta indietro rispetto a GLM 5.2 su Terminal Bench 2.1 (63.8% contro un divario di 18.9 punti) e su HLE e SWEBench Verified. Su SimpleQA Verified si ferma al 43.9%, sotto il 57.0% di DeepSeek V4 Pro. Sul fronte deployment, il checkpoint BF16 richiede almeno 2 TB di VRAM aggregata (8x B300 o 16x H200), mentre la variante NVFP4 scende a 600 GB. I runtime supportati includono SGLang, vLLM, Unsloth e Hugging Face transformers, con API ospitate da TogetherAI, Fireworks, Modal, Databricks e Baseten. Tra i limiti dichiarati: i pesi di Inkling-Small non sono ancora rilasciati, non c’è output audio o immagini, e i numeri di Terminal Bench usano un harness interno.

• Inkling è un MoE da 975B (41B attivi) a pesi aperti Apache 2.0, con contesto 1M token e input multimodale testo-immagini-audio.
• Il thinking effort regolabile rende costo e latenza tunabili per chiamata: un terzo dei token di Nemotron 3 Ultra a parità su Terminal Bench 2.1.
• Competitivo tra i modelli open-weights (78.0% su FORTRESS Adversarial) ma dietro a GLM 5.2 e Kimi K2.6 su diversi benchmark; deployment esigente in VRAM.

Fonte: Thinking Machines Lab Releases Inkling: A 975B-Parameter Open-Weights Multimodal MoE With 41B Active Parameters And Controllable Thinking Effort — https://www.marktechpost.com/2026/07/15/thinking-machines-lab-releases-inkling-a-975b-parameter-open-weights-multimodal-moe-with-41b-active-parameters-and-controllable-thinking-effort/