PrismML ha rilasciato Bonsai 27B: non un nuovo pretrain, ma una rappresentazione a bassissimo numero di bit di Qwen3.6-27B, con architettura invariata. Ne escono due varianti sotto licenza Apache 2.0. La ternaria usa pesi {-1, 0, +1} a 1,71 bit per peso, per una dimensione ideale di 5,9GB; la 1-bit usa pesi binari {-1, +1} a 1,125 bit per peso, per 3,9GB. Entrambe sono multimodali, con un vision tower tenuto a parte a 4-bit (HQQ) e un contesto di 262K token, reso praticabile dal fatto che circa il 75% dell’attention di Qwen3.6-27B è lineare.
Il punto interessante è il metodo di compressione. Ogni peso è un codice, con una scala FP16 condivisa per gruppo di 128. Un valore ternario porta log2(3)≈1,585 bit; aggiungendo la scala (16/128) si arriva a circa 1,71 bit per peso, una riduzione di ~9,4x rispetto a FP16. Il binario costa 1,125 bit, ~14,2x. La rappresentazione copre i componenti matrix-heavy (embedding, proiezioni di attention e MLP, LM head), lasciando in precisione più alta solo una coda trascurabile di parametri.
Cosa costa in accuratezza
PrismML ha valutato 15 benchmark in thinking mode con EvalScope e vLLM su GPU H100. La ternaria conserva il 94,6% della baseline FP16 e la 1-bit l’89,5%. Per dare la scala: Qwen3.6-27B FP16 occupa 54GB con una media “thinking” di 85,07; la ternaria scende a 5,9GB con 80,49 e la 1-bit a 3,9GB con 76,11. Un aspetto sottolineato è che le build convenzionali sotto i 4-bit collassano in modo selettivo: la IQ2_XXS crolla su AIME26 e LiveCodeBench pur restando alta su benchmark short-form come MMLU-Redux, che quindi mascherano il problema.
La memoria è il vero vincolo
Secondo PrismML, il collo di bottiglia per il deployment su telefono non è tanto lo storage quanto la memoria: iOS limita una singola app a circa metà della RAM fisica, quindi un iPhone da 12GB ne espone circa 6. Pesa anche la KV cache: solo 16 dei 64 layer portano una cache full-attention crescente, così una finestra da 262K token costa circa 17,2GB in FP16, che una KV cache a 4-bit riduce a circa 4,3GB. Sul throughput, la generazione è limitata dalla banda di memoria: la build binaria su M5 Max raggiunge 66,4 token/s in generazione, su iPhone 17 Pro Max 11,0 token/s. PrismML include anche un drafter DSpark per speculative decoding, che su H100 dichiara un accelerazione di 1,37x con verifica lossless.
- La ternaria conserva il 94,6% di FP16 a 5,9GB, la 1-bit l’89,5% a 3,9GB; PrismML sostiene che la 1-bit sia il primo modello di classe 27B a stare su un telefono.
- Le build convenzionali sotto i 4-bit collassano selettivamente su AIME, LiveCodeBench e task agentic, dove i benchmark short-form non lo mostrano.
- Tutto è rilasciato sotto Apache 2.0, su llama.cpp (CUDA, Metal) e MLX.
Fonte: PrismML Releases Bonsai 27B: 1-bit and Ternary Builds of Qwen3.6-27B That Run on Laptops and Phones — https://www.marktechpost.com/2026/07/14/prismml-releases-bonsai-27b-1-bit-and-ternary-builds-of-qwen3-6-27b-that-run-on-laptops-and-phones/
Hai qualcosa da aggiungere? Unisciti alla discussione.