SubQ Snap 1.1 vs Gemma 4 12B: een gespecialiseerde beoordelaar tegenover een open generalist

Vraag zowel SubQ Snap 1.1 als Gemma 4 12B welke van vijfhonderd supporttickets terugbetalingsverzoeken zijn, en beide geven een bruikbaar antwoord. Slechts één van hen vertelt je ook, per ticket, hoe zeker het ervan is — en slechts één van hen kan worden gedownload en gedraaid op hardware die je zelf bezit. Dat is de hele vergelijking, en de reden dat er geen winnaar uit komt, is dat de twee modellen niet echt in dezelfde productcategorie vallen. Snap 1.1 is een beslissingsmodel dat Subquadratic op 22 oktober 2026 heeft uitgebracht: het scoort een vaste set opties en genereert geen tekst. Gemma 4 12B is de open-weights generalist van Google DeepMind, een dense model met ongeveer 12 miljard parameters onder Apache 2.0 dat tekst, afbeeldingen, audio en video leest en er proza voor terugschrijft.

Behandel ze als vervangers en je maakt een van twee fouten: API-tarieven betalen voor een classifier die je op een laptop zou kunnen draaien, of proberen gestructureerde routering te krijgen uit een model dat nooit is getraind om zich te onthouden. Behandeld als twee lagen van dezelfde pijplijn, passen ze redelijk goed bij elkaar.

Wat elk ervan eigenlijk is

Gemma 4 12B is het middelste model in de Gemma 4-familie, tussen de on-device E2B- en E4B-modellen en de 26B-A4B- en 31B-tiers in. De opvallendste architectonische eigenschap is dat het model encoderloos is: afbeeldingspatches en audiogolfvormen worden rechtstreeks in de taal-backbone geprojecteerd in plaats van door afzonderlijke vision- en audio-encoders te gaan. Het is beschikbaar in een reasoning-configuratie en een niet-reasoning-configuratie, wordt uitgebracht onder Apache 2.0 en is het soort model dat een team kiest omdat het kan worden fine-tuned, gekwantiseerd, ingebed en uitgebracht zonder toestemming van wie dan ook te hoeven vragen. Trackers verschillen van mening over de exacte releasedatum — Artificial Analysis en BenchLM zeggen 3 juni 2026, llm-stats zegt 23 mei — wat een kleine herinnering is dat zelfs de saaie feiten over open releases anders worden verwoord, afhankelijk van wie de telling doet.

SubQ Snap 1.1 is bewust beperkter. Het verwerkt tot 384K tokens aan tekst en afbeeldingen plus een door de applicatie gedefinieerde antwoordset — één tot zestien vragen, twee tot 255 alternatieven per vraag — en retourneert een selectie met een waarschijnlijkheid. Er is geen uitvoer in vrije tekst om te parsen, geen JSON-schema om af te dwingen, en geen manier waarop het model een vraag kan beantwoorden die je het niet hebt voorgelegd. Het argument van Subquadratic is dat dit een andere computationele taak is dan generatie, en dat een sparse-attention-architectuur dit kan uitvoeren met constante compute per token in plaats van kwadratische attention te betalen over een document van 300K tokens.

De specs, naast elkaar

• Context — SubQ Snap 1.1 accepteert 384K tokens in één enkele doorgang; Gemma 4 12B accepteert 256K (262.144).

Invoermodaliteit — Snap 1.1 accepteert tekst en afbeeldingen; Gemma 4 12B accepteert tekst, afbeeldingen, audio en video.

• Uitvoer — Snap 1.1 retourneert een keuze of score uit je lijst, met een waarschijnlijkheid; Gemma 4 12B genereert tekst van willekeurige lengte.

• Prijs — Snap 1.1 kost $0,04 per 1M invoertokens, waarbij uitvoer gratis is; de mediaan van Gemma 4 12B over providers is $0,10 per 1M invoer en $0,30 per 1M uitvoer.

• Gewichten — Snap 1.1 publiceert er geen; Gemma 4 12B levert Apache 2.0-gewichten die je kunt downloaden, quantiseren en zelf hosten.

• Kalibratie — Snap 1.1 rapporteert een verwachte kalibratiefout van 0,014 en een onthoudingspercentage van 86% bij vragen die het niet kan beantwoorden; Gemma 4 12B publiceert geen vergelijkbaar kalibratiecijfer.

• Benchmark-anker — Snap 1.1 scoort 65 op de Artificial Analysis Decision Index v1.0, ex aequo op de eerste plaats; Gemma 4 12B scoort 14 op de Artificial Analysis Intelligence Index, een geschatte waarde voor zijn grootteklasse.

Die laatste twee rijen zijn niet vergelijkbaar en mogen niet naast elkaar worden geplaatst zonder waarschuwing. De Decision Index meet de kwaliteit van beslissingen op een taak met vaste antwoorden; de Intelligence Index meet algemeen redeneervermogen. Een 65 en een 14 beantwoorden verschillende vragen.

De taak die beide kunnen doen, en wat het kost

Neem een realistische routeringsaanroep: een ticketthread van 8.000 tokens, vijf kandidaatwachtrijen, één antwoord. Snap 1.1 rekent $0,04 per miljoen invoertokens en niets voor uitvoer, dus de aanroep kost ongeveer $0,00032. Gemma 4 12B rekent bij mediane providerprijzen $0,0008 voor dezelfde 8.000 invoertokens, plus uitvoer — een enkel label is misschien vijf tokens, oftewel $0,0000015, maar een redeneerconfiguratie die nadenkt voordat ze antwoordt, kan gemakkelijk 200 tot 400 tokens verbruiken, wat nog eens $0,00006 tot $0,00012 is.

Bij API-tarieven is Snap daarom twee tot drie keer goedkoper per aanroep, en het verschil wordt groter naarmate het document langer wordt, omdat Gemma's invoerprijs tweeënhalf keer die van Snap is. Bij 100K tokens is de vergelijking $0,004 tegen $0,010 voordat Gemma überhaupt iets schrijft.

Host Gemma 4 12B nu zelf op een GPU die je al bezit. De marginale kosten per aanroep dalen tot de elektriciteitskosten, en de vergelijking keert volledig om. Dit is het allerbelangrijkste aan deze confrontatie: Snap 1.1 is alleen goedkoper als je inferentie per token inkoopt. Als je onbenutte capaciteit hebt, is Gemma marginaal gratis en Snap zal dat nooit worden.

Waar Gemma 4 12B wint

Het voor de hand liggende antwoord is openheid, maar de bruikbare versie is specifieker. Apache 2.0 betekent dat geen enkele leverancier de endpoint onder je vandaan kan deprecaten, dat geen rate limit een batchjob om 2 uur 's nachts kan afknijpen en dat er geen data je netwerk verlaat. Voor een gereguleerde workflow — triage van claims, klinische codering, contractbeoordeling — beslist dat laatste punt meestal de discussie voordat over prijs wordt gesproken.

Gemma doet ook dingen die Snap structureel niet kan. Het schrijft de escalatiesamenvatting nadat de router besluit te escaleren. Het leest een gescand formulier, transcribeert een gespreksopname en beantwoordt in één keer een vraag over beide. Het kan worden finegetuned op je eigen gelabelde data, wat bij een smalle classificatietaak vaak beter presteert dan het zero-shotgedrag van welk algemeen model dan ook. Volgens de eigen gepubliceerde cijfers van de leverancier scoort het 77,2 op MMLU-Pro, 78,8 op GPQA en 72,0 op LiveCodeBench v6 — bescheiden voor een frontiermodel, volledig respectabel voor iets dat op één accelerator past.

De zwakke punten zijn even specifiek: een 5,2 op Humanity's Last Exam zonder tools, 43,4 op MRCRv2 long-context retrieval, en een first-token-latency van ongeveer 2,4 tot 2,6 seconden bij typische providersnelheden, wat aan de langzame kant is voor een routing-hop in een agent-loop.

Waar SubQ Snap 1.1 wint

Drie dingen, in volgorde van hoe belangrijk ze zijn. Ten eerste: gecalibreerde abstentie. Snap 1.1 rapporteert een percentage van 86% dat het 'ik weet het niet' zegt bij vragen die het niet correct kan beantwoorden, tegenover 0,7% voor zijn eigen 1.0-release op de omniscience-proxy van de leverancier — de verbetering is het hoofdpunt van deze versie. Een generiek LLM betrouwbaar laten abstineren vereist prompt-engineering, een betrouwbaarheidsheuristiek of een tweede model dat het eerste beoordeelt, en geen daarvan is zo elegant als een model dat is getraind met abstentie als expliciet doel.

Ten tweede, context. 384K in één enkele pass tegenover 256K, en — relevanter — geen chunkingstrategie om te ontwerpen. Een generiek model met 256K kan het document technisch gezien bevatten; of het de juiste zin uit het midden ervan ophaalt, is een andere vraag, en Gemma's 43.4 op MRCRv2 suggereert dat het eerlijke antwoord "soms" is.

Ten derde, de vorm van de output. Een waarschijnlijkheid over je vijf wachtrijen is direct bruikbaar als routeringsdrempel. Een gegenereerde zin is dat niet, en de lijmcode die het ene in het andere omzet, is waar de meeste bugs in productieclassificatie zitten.

Wat Snap niet heeft, is enige onafhankelijke verificatie van 1.1. De bestaande evaluaties door derden testten het previewmodel, en een daarvan — een documentrelevantie-beoordelingsonderzoek door 95pctai dat Snap vergeleek met Gemma 4 31B — vond dat Snap ongeveer twee keer zo snel was en half zo duur per run, maar 21 antwoorden miste die de Gemma-baseline wel had. De auteur van het onderzoek merkt op dat zowel de beoordelaar als de baseline Google-modellen waren, wat Gemma kan bevoordelen, en dat Snap slechts één keer is uitgevoerd.

De realiteit van deployment

Gemma 4 12B staat niet in de catalogus van OrcaRouter. Wij bieden de 26B-A4B- en 31B-varianten van dezelfde familie aan, en de 12B is beschikbaar via Google's eigen kanalen en diverse platforms van derden. Snap 1.1 is evenmin van ons: het draait via de API van Subquadratic op console.subq.ai.

De praktische vraag voor de meeste teams is niet welke ze als standaard moeten nemen, maar of de beslissingslaag en de generatielaag een afhankelijkheid moeten delen. Ze falen op verschillende manieren. Een router die uitvalt, stopt je pipeline voordat er werk wordt verricht; een generator die uitvalt, stopt hem halverwege. De twee bij afzonderlijke leveranciers onderbrengen — één sleutel voor 200+ generatiemodellen bij OrcaRouter met 0% opslag ten opzichte van de providerlijst en automatische failover, één contract voor het beslissingsmodel — betekent dat een slechte middag bij een van beide leveranciers de pipeline degradeert in plaats van hem stop te zetten.

Hoe je in één keer kunt beslissen

Als de beslissing een label over een vaste set opties is, de documenten lang zijn en je geen weights kunt hosten: Snap 1.1, en begroot de bouw van je eigen evaluatieharnas, omdat niemand er een heeft gepubliceerd voor deze versie.

Als de beslissing een label is, maar dezelfde aanroep ook tekst moet opleveren, of als de gegevens je netwerk niet mogen verlaten, of als je reserve-GPU-capaciteit hebt: Gemma 4 12B, fijngetuned op een paar duizend van je eigen voorbeelden, verslaat meestal een generiek beslissingsmodel op jouw specifieke taak.

Als je echt onzeker bent, is het goedkope experiment om beide op dezelfde 2.000 gelabelde cases te draaien en niet de nauwkeurigheid te vergelijken, maar de kosten van de fouten die elk maakt. Snap zal zich vaker onthouden. Gemma zal vaker antwoorden en vaker fout zijn zonder dat te zeggen. Welke van die twee erger is, is een eigenschap van jouw bedrijf, niet van een van beide modellen.