SubQ Snap 1.1 vs Gemma 4 12B: En specialistdomare mot en öppen generalist

Fråga både SubQ Snap 1.1 och Gemma 4 12B vilka av femhundra supportärenden som är återbetalningsförfrågningar, och båda kommer att ge ett användbart svar. Bara en av dem kommer dessutom att berätta för dig, per ärende, hur säker den är – och bara en av dem kan laddas ned och köras på hårdvara som du äger. Det är hela jämförelsen, och anledningen till att den inte utmynnar i en vinnare är att de två modellerna egentligen inte tillhör samma produktkategori. Snap 1.1 är en beslutsmodell som släpptes av Subquadratic den 22 oktober 2026: den poängsätter en fast uppsättning alternativ och genererar ingen text. Gemma 4 12B är Google DeepMinds generalist med öppna vikter, en tät modell med cirka 12 miljarder parametrar under Apache 2.0 som läser text, bilder, ljud och video och skriver prosa som svar.

Om du behandlar dem som substitut kommer du att göra ett av två misstag: betala API-avgifter för en klassificerare som du skulle kunna köra på en laptop, eller försöka få strukturerad routning från en modell som aldrig tränats att avstå. Behandlade som två lager i samma pipeline passar de ihop ganska väl.

Vad var och en faktiskt är

Gemma 4 12B är mellanbarnet i Gemma 4-familjen och placerar sig mellan enhetsmodellerna E2B och E4B samt nivåerna 26B-A4B och 31B. Dess anmärkningsvärda arkitektoniska särdrag är att den är encoderfri: bildpatches och ljudvågformer projiceras direkt in i språkbackbonen i stället för att passera separata bild- och ljudencoders. Den körs i en resonerande konfiguration och en icke-resonerande, levereras under Apache 2.0 och är den typ av modell som ett team väljer eftersom den kan finjusteras, kvantiseras, bäddas in och levereras utan att fråga någon om tillstånd. Spårningsverktyg är oense om det exakta releasedatumet – Artificial Analysis och BenchLM säger 3 juni 2026, llm-stats säger 23 maj – vilket är en liten påminnelse om att även tråkiga fakta om öppna releaser återges olika beroende på vem som räknar.

SubQ Snap 1.1 är avsiktligt smalare. Den tar emot upp till 384K token text och bilder plus en programdefinierad svarmängd – en till sexton frågor, två till 255 alternativ per fråga – och returnerar ett val med en sannolikhet. Det finns ingen fritextutdata att parsa, inget JSON-schema att upprätthålla och inget sätt för modellen att besvara en fråga som du inte erbjudit den. Subquadratics argument är att detta är ett annat beräkningsjobb än generering, och att en sparse-attention-arkitektur kan göra det med konstant beräkningskostnad per token i stället för att betala kvadratisk attention över ett dokument på 300K token.

Specifikationerna, sida vid sida

• Kontext — SubQ Snap 1.1 accepterar 384K tokens i ett enda svep; Gemma 4 12B accepterar 256K (262 144).

• Inmatningsmodalitet – Snap 1.1 tar text och bilder; Gemma 4 12B tar text, bilder, ljud och video.

• Utdata — Snap 1.1 returnerar ett val eller en poäng från din lista, med en sannolikhet; Gemma 4 12B genererar text av godtycklig längd.

• Pris — Snap 1.1 kostar 0,04 USD per 1 miljon indatatoken och utdata är gratis; medianen för Gemma 4 12B bland leverantörerna är 0,10 USD per 1 miljon indata och 0,30 USD per 1 miljon utdata.

• Vikter – Snap 1.1 publicerar inga; Gemma 4 12B levereras med Apache 2.0-vikter som du kan ladda ner, kvantisera och självhosta.

• Kalibrering — Snap 1.1 rapporterar ett förväntat kalibreringsfel på 0,014 och en avståendefrekvens på 86 % för frågor som den inte kan besvara; Gemma 4 12B publicerar ingen jämförbar kalibreringssiffra.

• Benchmark-referens — Snap 1.1 får 65 poäng på Artificial Analysis Decision Index v1.0 och delar förstaplatsen; Gemma 4 12B får 14 poäng på Artificial Analysis Intelligence Index, en uppskattad siffra för dess storleksklass.

De två sista raderna är inte jämförbara och bör inte placeras bredvid varandra utan en varning. Decision Index mäter beslutskvalitet i en uppgift med fasta svar; Intelligence Index mäter allmänt resonemang. En 65 och en 14 svarar på olika frågor.

Uppgiften som båda kan utföra, och vad den kostar

Ta ett realistiskt routinganrop: en ärendetråd på 8 000 token, fem kandidatköer, ett svar. Snap 1.1 tar $0,04 per miljon indatatoken och ingenting för utdata, så anropet kostar cirka $0,00032. Gemma 4 12B till medianpris hos leverantörer debiterar $0,0008 för samma 8 000 indatatoken, plus utdata — enbart en etikett är kanske fem token, eller $0,0000015, men en resonemangskonfiguration som tänker innan den svarar kan lätt göra av med 200 till 400 token, vilket är ytterligare $0,00006 till $0,00012.

Till API-priser är Snap därför två till tre gånger billigare per anrop, och gapet ökar ju längre dokumentet blir, eftersom Gemmas indatapris är två och en halv gånger Snaps. Vid 100K tokens är jämförelsen $0,004 mot $0,010 innan Gemma ens har skrivit något.

Nu kan du självhosta Gemma 4 12B på en GPU du redan äger. Marginalkostnaden per anrop sjunker till el, och jämförelsen vänds helt. Detta är det enskilt viktigaste med den här jämförelsen: Snap 1.1 är billigare bara om du köper inferens per token. Om du har ledig kapacitet är Gemma gratis i marginalen, och det kommer Snap aldrig att vara.

Där Gemma 4 12B vinner

Det uppenbara svaret är öppenhet, men den användbara versionen är mer specifik. Apache 2.0 innebär att ingen leverantör kan avveckla slutpunkten under dig, ingen hastighetsbegränsning kan strypa ett batchjobb klockan 2 på natten, och inga data lämnar ditt nätverk. För ett reglerat arbetsflöde – triage av skadeärenden, klinisk kodning, kontraktsgranskning – avgör den sista punkten vanligtvis argumentet innan pris diskuteras.

Gemma gör också saker som Snap strukturellt sett inte kan. Den skriver eskaleringssammanfattningen efter att routern beslutar att eskalera. Den läser ett skannat formulär, transkriberar en samtalsinspelning och svarar på en fråga om båda i en enda körning. Den kan finjusteras på dina egna märkta data, vilket för en smal klassificeringsuppgift ofta slår vilken allmän modells zero-shot-beteende som helst. Enligt leverantörens egna publicerade siffror får den 77,2 på MMLU-Pro, 78,8 på GPQA och 72,0 på LiveCodeBench v6 – blygsamt för en frontier-modell, helt respektabelt för något som får plats på en enda accelerator.

Dess svagheter är lika specifika: 5,2 på Humanity's Last Exam utan verktyg, 43,4 på MRCRv2 för långkontextsåtervinning och en fördröjning till första token på ungefär 2,4 till 2,6 sekunder vid typiska leverantörshastigheter, vilket är i långsammaste laget för ett routingsteg i en agentloop.

Där SubQ Snap 1.1 vinner

Tre saker, i ordning efter hur mycket de spelar roll. För det första: kalibrerad avståelse. Snap 1.1 rapporterar en andel på 86 % för att säga {{1}}Jag vet inte{{/1}} på frågor som den inte kan svara korrekt på, jämfört med 0,7 % för {{2}}dess egen 1.0-version{{/2}} i leverantörens allvetenhetsproxy – förbättringen är den stora nyheten i den här versionen. Att få en allmän LLM att avstå tillförlitligt kräver promptteknik, en konfidensheuristik eller en andra modell som betygsätter den första, och inget av dessa är lika rent som en modell som tränats med avståelse som ett explicit mål.

För det andra, kontext. 384K i en enda genomgång mot 256K, och – mer relevant – ingen chunkningsstrategi att designa. En generell modell på 256K kan tekniskt sett rymma dokumentet; om den hämtar rätt mening från mitten av det är en annan fråga, och Gemmas 43,4 på MRCRv2 antyder att det ärliga svaret är "ibland".

För det tredje, utdatans form. En sannolikhet över dina fem köer är direkt användbar som ett routningströskelvärde. En genererad mening är det inte, och limkoden som omvandlar den ena till den andra är där de flesta produktionsklassificeringsbuggar lever.

Det Snap inte har är någon oberoende verifiering av 1.1. De tredjepartsutvärderingar som finns testade förhandsmodellen, och en av dem – en studie i dokumentrelevansgradering från 95pctai som jämförde Snap mot Gemma 4 31B – fann att Snap var ungefär dubbelt så snabbt och kostade hälften så mycket per körning, men missade 21 svar som Gemma-baslinjen fångade. Studiens författare påpekar att både bedömaren och baslinjen var Google-modeller, vilket kan gynna Gemma, och att Snap endast kördes en gång.

Distributionsverklighet

Gemma 4 12B finns inte i OrcaRouters katalog. Vi tillhandahåller 26B-A4B- och 31B-nivåerna i samma familj, och 12B är tillgänglig via Googles egna kanaler och ett antal tredjepartsplattformar. Snap 1.1 är inte heller vår: den körs via Subquadratics API på console.subq.ai.

Den praktiska frågan för de flesta team är inte vilken man ska standardisera på, utan om beslutsfattandelagret och genereringslagret bör dela ett beroende. De misslyckas på olika sätt. En router som går ner stoppar din pipeline innan något arbete hinner påbörjas; en generator som går ner stoppar den halvvägs. Att hålla de två hos separata leverantörer – en nyckel för 200+ genereringsmodeller hos OrcaRouter med 0 % påslag utöver leverantörslistpriset och automatisk redundansväxling, ett avtal för beslutsmodellen – innebär att en dålig eftermiddag hos endera leverantören försämrar pipelinen i stället för att stoppa den.

Hur man avgör i ett svep

Om beslutet är en etikett över en fast uppsättning alternativ, dokumenten är långa och du inte kan hosta modellvikter: Snap 1.1, och avsätt budget för att bygga ett eget utvärderingsramverk eftersom ingen har publicerat något för den här versionen.

Om beslutet är en etikett men samma anrop också måste generera text, eller om data inte kan lämna ditt nätverk, eller om du har ledig GPU-kapacitet: Gemma 4 12B, finjusterad på några tusen av dina egna exempel, kommer vanligtvis att överträffa en allmän beslutsmodell på din specifika uppgift.

Om du verkligen är osäker är det billiga experimentet att köra båda på samma 2 000 märkta fall och jämföra inte noggrannheten utan kostnaden för de fel som var och en gör. Snap kommer att avstå oftare. Gemma kommer att svara oftare och ha fel oftare utan att säga det. Vilket av dessa som är värre är en egenskap hos din verksamhet, inte hos någon av modellerna.