Una scheda del titolo generata che recita 'Aion-1.0-Instruct-2.3B vs Gemma 4 12B' con il sottotitolo 'Cinque volte i pesi e dieci volte le prove', sopra un confronto a barre orizzontali tra 2,29B e 11,95B parametri e tre badge: '1 giorno di prove della community', '7 mesi di prove della community' e 'Entrambi dichiarati dal fornitore'.
Guides & Insights

Aion-1.0-Instruct-2.3B vs Gemma 4 12B: cinque volte i pesi e dieci volte le prove

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Metti Aion-1.0-Instruct-2.3B accanto a G​emma 4 12B e il divario nei parametri è la cosa meno interessante che li riguarda. Il checkpoint di Microsoft ha 2,29 miliardi di parametri ed è stato pubblicato su Hugging Face il 18 novembre 2026 senza alcun annuncio; quello di G​oogle DeepMind è di 11,95 miliardi, Apache 2.0, ed è scaricabile da maggio 2026 con una scheda del modello che riporta una tabella di valutazione completa e una comunità che ha già scaricato i pesi più di un milione di volte. Il divario interessante è che uno di questi modelli è stato esaminato da estranei e l'altro non è stato esaminato da nessuno.

Questo è un confronto tra due release aperte anziché tra due API, quindi ogni affermazione riportata di seguito è verificabile scaricando qualcosa. I dati di Aion-1.0-Instruct-2.3B provengono dalla model card e dal config.json nel suo repository, entrambi letti direttamente oggi. I dati di G​emma 4 12B provengono dalla model card di G​oogle, e i suoi numeri di benchmark sono quelli del fornitore — riportati, non riprodotti in modo indipendente, una distinzione che qui conta per entrambi i modelli.

La tabella comparativa che nessuno riesce a compilare in modo equilibrato

Sei dimensioni, entrambi i lati, e una nota dove un lato semplicemente non ha nulla da mettere nella cella.

• Parametri — Aion-1.0-Instruct-2.3B è un modello denso da ~2,29B con embedding condivisi; G​emma 4 12B è un modello denso da 11,95B su 48 layer.

• Licenza — MIT per Aion, Apache 2.0 per Gemma. Dal punto di vista commerciale, entrambe sono di fatto prive di restrizioni; MIT è marginalmente più semplice da rispettare perché non comporta una concessione di brevetto da considerare.

• Contesto — 32.768 token contro 256K, una differenza di otto volte che decide se un intero repository entra in un unico prompt.

• Input — solo testo rispetto a testo, immagine e audio, con il trucco che contraddistingue G​emma 4 12B: non ha encoder separati, poiché le patch delle immagini e le forme d'onda audio si proiettano direttamente nello spazio di embedding del decoder.

• Lingue — otto per Aion (inglese, tedesco, spagnolo, portoghese, italiano, francese, cinese, giapponese, con dati multilingue a circa il 6% dell'addestramento); oltre 140 dichiarate per G​emma.

• Valutazione pubblicata — Aion: 11 benchmark su un harness specifico, tutti eseguiti dal fornitore. Gemma: oltre 15 benchmark più righe vision, audio e long-context, tutti eseguiti dal fornitore.

Cosa dicono gli undici numeri di Microsoft

La scheda di Aion è più schietta di gran parte delle uscite silenziose. Dichiara che i benchmark sono stati eseguiti su lm-evaluation-harness di EleutherAI dove esisteva un'implementazione dell'attività e, in caso contrario, sul repository proprio di ciascun benchmark, che GPT-4o ha giudicato quelli dipendenti da un giudice, e poi stampa i punteggi: MMLU 55,15, MMLU-Pro 33,35, MMMLU 45,51, GPQA 28,18, GSM8K 74,91, GSMPlus 49,56, MATH-500 48,00, IFEval 83,90, IFBench 32,00, Multi-IF 64,70, chrF++ 43,18.

Due di questi riportano un qualificatore nella colonna delle note — GSM8K è "corrispondenza approssimativa", IFBench è "approssimativo a livello di prompt" — e la scheda non li nasconde. È il tipo di informazione che un team di marketing rimuove e un team di valutazione lascia. Significa anche che i numeri vanno letti come una soglia minima anziché come un messaggio promozionale: un 33,35 su MMLU-Pro e un 28,18 su GPQA non sono cifre che qualcuno sceglierebbe di mettere in apertura.

La scheda è ugualmente esplicita su ciò che il modello non è in grado di fare. La sezione sui limiti afferma che un modello piccolo di queste dimensioni «può trascurare dettagli fini, fornire affermazioni errate o mostrare incapacità di seguire ragionamenti complessi a più passaggi», e la sezione delle raccomandazioni afferma che il modello «non è stato addestrato per eccellere nella conoscenza del mondo». Queste sono parole del fornitore, non nostre, e sono in linea con i punteggi anziché contraddirli.

Dove finiscono davvero i nove miliardi di parametri extra di G​emma

G​emma 4 12B: la scheda elenca MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 senza strumenti 77.5, LiveCodeBench v6 72.0, Codeforces ELO 1659, Tau2 con media su tre esecuzioni pari a 69.0, BigBench Extra Hard 53.0 e MMMLU 83.4. Riporta anche MMMU Pro 69.1 e MATH-Vision 79.7 per la visione, CoVoST 38.5 e FLEURS 0.069 per l'audio, e 55.3 su RULER a 128K.

Confrontare direttamente quelli con la tabella di Aion sarebbe disonesto, perché quasi nessuno dei benchmark è condiviso, gli harness differiscono, e uno è un modello solo testuale valutato contro uno multimodale su compiti che premiano un addestramento diverso. Quello che si può dire è indicativo e senza giri di parole: sulle due righe in cui i nomi dei benchmark coincidono, MMLU-Pro e MMMLU, G​emma riporta rispettivamente 43,8 e 37,9 punti in più. Non è una stranezza del punteggio. È ciò che si ottiene con 9,7 miliardi di parametri in più e sette mesi in più di post-addestramento.

L'osservazione più utile è ciò che G​emma fa con le sue dimensioni. La sua attenzione ibrida alterna livelli locali a finestra scorrevole da 1.024 token con l'attenzione globale completa, e i livelli globali condividono chiavi e valori e applicano RoPE proporzionale — una progettazione mirata proprio a mantenere costante la memoria nei contesti lunghi. Aion fa lo stesso tipo di cosa su scala più piccola con una finestra scorrevole da 2.048 token su 21 dei suoi 28 livelli. Entrambi i modelli risolvono lo stesso problema; uno ha cinque volte il budget per farlo.

L'impronta è l'unica colonna in cui Aion vince nettamente

In bfloat16, Aion-1.0-Instruct-2.3B è di circa 4,6 GB. G​emma 4 12B è all'incirca 24 GB prima di arrivare a un quantizzatore, il che lo colloca su una GPU da workstation o su un laptop pesantemente quantizzato e lo esclude del tutto da un telefono. Non è una critica a G​emma — non è mai stato pensato per un telefono — ma è l'intera ragione per cui esiste il modello di Microsoft. La scheda viene presentata come Windows on-device: attività di testo e del sistema operativo, sulla macchina, con i dati che non la lasciano mai.

L'avvertenza onesta è che la finestra da 32K viene raggiunta tramite scaling, non tramite addestramento prolungato. La configurazione riporta original_max_position_embeddings pari a 2.048 con fattore YaRN 16 solo sui layer a full attention, e non è stata pubblicata alcuna valutazione del modello su contesti lunghi. Quindi "32K" è un tetto configurato, non una capacità dimostrata. I 256K di G​emma hanno almeno una riga RULER a supporto, eseguita dal fornitore e pari a 55,3 — modesta, ma presente.

La decisione di factoring, non quella del modello

Questi due appartengono a livelli diversi dello stesso prodotto, ed è di solito così che i team finiscono per usarli. Aion-1.0-Instruct-2.3B gestisce il passaggio sul dispositivo: oscura, riassume, riscrive, classifica e mantiene il documento in locale. G​emma 4 12B gestisce i casi che richiedono la lettura di uno screenshot, la trascrizione di un clip audio, una base di codice da 100K token mantenuta nel contesto o una lingua al di fuori delle otto di Aion. Nessuno dei due sostituisce l'altro, e l'errore da evitare è scegliere il modello piccolo per un compito che richiede quello grande perché il piccolo è gratuito da scaricare.

Quando entrambi vengono chiamati da un unico codebase, il costo operativo non sono i token — è il secondo SDK, la seconda policy di retry e il secondo set di credenziali. È qui che un router si guadagna il suo posto: OrcaRouter mette oltre 200 modelli dietro un'unica chiave con 0% di markup rispetto al prezzo di listino del provider, con failover automatico e un DSL di routing che può inviare una richiesta lungo una catena di modelli anziché a uno solo. Per essere precisi su ciò che è e non è nel nostro catalogo oggi: la famiglia G​emma 4 è parzialmente presente — le varianti 26B A4B e 31B sono elencate — mentre G​emma 4 12B e Aion-1.0-Instruct-2.3B non lo sono, perché la prima è un rilascio di pesi self-hosted e il secondo non ha alcun endpoint ospitato da nessuna parte. L'argomento del routing vale per qualunque modello fratello di questi che finirai per mescolare con loro, non per questi due checkpoint stessi.

Un ordine di rollout che fallisce in modo sicuro

Inizia con Gemma 4 12B sul carico di lavoro che già hai, perché puoi misurarlo. La sua scheda ti fornisce un denominatore, i suoi pesi sono stabili e qualsiasi regressione tu veda è una tua regressione, non un artefatto di un upload di tre giorni fa.

Poi prendi Aion-1.0-Instruct-2.3B e mettilo alla prova sulla porzione ristretta che intendi portare on-device — ad esempio la sintesi di thread email o l'oscuramento di documenti — usando i tuoi dati e la tua soglia di accuratezza. Non usare il suo MMLU come proxy per il tuo compito; la scheda del modello stesso avverte che non è stato addestrato per la conoscenza del mondo, e un 55,15 su MMLU ti dice più su nozioni da quiz che non se i tuoi riassunti superano la revisione.

Solo allora decidi se il passaggio locale sostituisce una chiamata ospitata o si colloca davanti a una di esse. Il pattern che funziona è quello noioso: un modello piccolo esegue il primo passaggio localmente, con controllo della confidenza, mentre i casi difficili vengono inoltrati a qualcosa di più grande. Questo ti garantisce la proprietà della privacy sulla maggior parte del traffico e mantiene il tetto di qualità dove deve essere.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

La scheda di Google riporta numeri a cui la scheda di Aion non può ancora essere confrontata equamente: MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 e una finestra da 256K, tutti dichiarati dal fornitore.

Che cosa renderebbe questo un articolo diverso?

Un'esecuzione indipendente dell'harness di Aion-1.0-Instruct-2.3B basterebbe. Al momento della stesura, il repository aveva tre like e zero download registrati, quindi non c'è alcuna evidenza da parte della community — nessun thread nei forum, nessuna build quantizzata, nessuna valutazione di terze parti. La scheda promette versioni quantizzate in arrivo; quando arriverà un GGUF, la storia locale smetterà di essere teorica e i conteggi dei download inizieranno a significare qualcosa.

Fino ad allora, il confronto resta dov'è: G​emma 4 12B è una quantità nota con un costo reale, e Aion-1.0-Instruct-2.3B è un modello molto piccolo, molto nuovo e documentato onestamente, la cui proprietà più preziosa è che funziona dove la rete non arriva.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

La scheda di Microsoft è la fonte per il conteggio di 2,29 miliardi di parametri, le otto lingue supportate e la data limite delle conoscenze 2025-12; i suoi timestamp sono l'unico segnale di rilascio esistente.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Affiancati: la dimensione in cui Aion vince (footprint) e quelle in cui non lo fa (contesto, modalità, lingue e la profondità delle evidenze alla base dei numeri).