AlphaProof Code vs SWE-2: due sistemi agentici, due idee completamente diverse di dimostrazione

Sia AlphaProof Code sia Cognition SWE-2 sono sistemi agentici che scrivono software automaticamente, ed entrambi sono stati venduti al pubblico sulla parola "agent". Al di là di questo, le due release abitano a malapena lo stesso universo. Cognition SWE-2, annunciato a settembre 2026 e disponibile solo all'interno di Devin Desktop e della CLI, scrive patch: ha ottenuto il 50,0% su FrontierCode 1.1 Main, a un punto di distanza da Claude Fable 5.1 al 50,9%, con il 64% in meno di costo, secondo i dati della stessa Cognition. AlphaProof Code, annunciato da G​oogle DeepMind il 10 novembre 2026, scrive dimostrazioni: circa 6,5 milioni di righe di Lean che stabiliscono che il binario AArch64 compilato di Signal soddisfa dieci teoremi di sicurezza, verificati dal kernel di Lean anziché da una griglia di valutazione. L'output di un sistema può essere sbagliato in un modo che un revisore umano potrebbe cogliere. L'output dell'altro non può essere sbagliato affatto — o il kernel lo respinge e il lavoro continua.

"Corretto" significa due cose diverse

Cominciamo dalla parola, perché è qui che i confronti tra questi due vanno storti. Quando Cognition riferisce che SWE-2 ha risolto il 50,0% delle attività Main di FrontierCode 1.1, "risolto" significa che è stata prodotta una patch che il processo di valutazione ha accettato come integrabile. Le attività di FrontierCode sono state scritte con più di 20 manutentori open source, a più di 40 ore per attività, con ciascun manutentore che definisce cosa significhi "integrabile" nel proprio repository. Si tratta di un progetto di valutazione serio e resta comunque un giudizio umano su una diff.

Quando DeepMind riporta che un teorema è stato dimostrato per libsignal v0.105.4, "dimostrato" significa che il kernel di Lean ha accettato una derivazione dalla specifica. Non c'è alcun revisore con un'opinione. L'agente guardiano controlla ogni invio con comparatore rispetto a una copia tenuta a parte della specifica, e Lean controlla il resto — ed è così che un team di cinque ricercatori ha potuto lasciare il 99% di una base di codice non revisionato da esseri umani e comunque fare un'affermazione su tutto quanto.

Questa differenza determina a cosa serve ciascun sistema. SWE-2 sa scrivere codice. AlphaProof Code non sa scrivere codice di produzione e non ci prova; dimostra che il codice scritto da qualcun altro fa ciò che era stato specificato, e può anche dimostrare che una versione deliberatamente difettosa non lo fa — i due bug di Signal reintrodotti, un bug di stato debole e un bug di piccolo sottogruppo, hanno entrambi prodotto dimostrazioni di insicurezza verificate dalla macchina.

Dove i due sono davvero simili

Più di quanto ti aspetteresti, e i parallelismi sono la parte interessante. Entrambi sono costosi da eseguire. AlphaProof Code utilizzava team da 40 a 80 agenti in esecuzione per 24-72 ore su una singola macchina per team, nell'arco di quattro settimane, con un agente supervisore sopra l'orchestratore del team e agenti che verificavano il proprio output per segnalare circa l'1% alla revisione umana. Il costo di SWE-2 non è pubblicato per token perché Cognition non vende token; il prezzo è un abbonamento a Devin, e l'affermazione del 64% in meno è un confronto con Claude Fable 5.1 ai prezzi di listino.

Entrambi si basano sulla stessa classe di modello di base. SWE-2 è un post-training di Kimi K3 di Moonshot AI, un mixture-of-experts da 2,8 trilioni di parametri con circa 104B parametri attivi per token, e Cognition afferma che il suo reinforcement learning ha aggiunto da 5 a 6 punti su diversi benchmark. Gli agenti di dimostrazione di AlphaProof Code erano alimentati da Gemini 4 Carbon, e Claude Opus 5.5 è stato tra i modelli usati per redigere e revisionare le specifiche Lean di Signal. Nessuno dei due laboratori ha costruito i propri agenti da zero.

Entrambi dipendono da un verificatore per sapere se il lavoro è completato. I verificatori di Cognition sono le suite di test e i giudizi dei manutentori codificati in FrontierCode. Il verificatore di DeepMind è un kernel di dimostrazione. Il verificatore è il punto in cui si stabilisce il tetto di ciascun sistema, ed è questa la frase che vale la pena ricordare di entrambi i paper.

Il problema dell'onestà dei benchmark, a confronto

AlphaProof Code non ha una tabella di benchmark, quindi le solite avvertenze sui numeri dei fornitori non valgono per esso: al suo posto c'è un teorema, e un teorema è binario. Quello che ha, invece, è un insieme di esclusioni strutturali. Nessuna garanzia post-quantistica per la proprietà di guarigione di SPQR, perché i teoremi del ratchet presuppongono che l'attaccante scelga le chiavi SPQR. Nessuna privacy del payload. Nessuna autenticazione del responder per il primo messaggio di un handshake che non viene mai promosso. Una sessione per promozione, lunghezze dei messaggi fisse, nessuno stato multi-dispositivo, chiavi d'identità trust-on-first-use. Un termine di falsificazione MAC di 8 byte che cresce quadraticamente e diventa vacuo a circa 25.000 messaggi in una singola sessione. Trentasette routine gestite tramite contratto anziché verificate, incluse AES-256-CBC, X25519, Kyber1024 e ML-KEM-768. E l'oggetto è la build del team di libsignal-cli come processo nuovo, non l'app Signal.

Le riserve relative a SWE-2 sono di natura statistica più che strutturale, e la più incisiva riguarda la scalabilità al variare della lunghezza del compito. Passando da Terminal-Bench 2.1 a Terminal-Bench 4, Claude Fable 5.1 perde circa 35,6 punti e GPT-6 Astra circa 32,0. SWE-2 ne perde circa 65,5, e il suo modello base Kimi K3 circa 66,8 — quindi, su attività a lungo orizzonte, degrada all'incirca il doppio più rapidamente dei modelli di frontiera con cui viene confrontato. Terminal-Bench 4 è l'edizione attuale e la 2.1 è quella superata, il che significa che la riga in cui SWE-2 è in testa è il benchmark ritirato e la riga in cui è in svantaggio è quello attivo.

Entrambi i rapporti sono insolitamente schietti per gli standard dei post di lancio. La differenza sta in quanto costa la franchezza. Le esclusioni di DeepMind restringono l'affermazione ma la lasciano valida. Le esclusioni di Cognition delimitano l'applicabilità dell'affermazione, e il lettore deve decidere se un punteggio del 27,3% sul benchmark long-horizon attuale conti per il proprio carico di lavoro.

Servizio, prezzo e la cosa che nessuno dei due ti vende

• AlphaProof Code — framework di ricerca. Nessun endpoint, nessun peso, nessun prezzo, nessuna lista d'attesa. Gli artefatti sono uno sviluppo Lean presso github.com/google-deepmind/code-verification, senza alcuna licenza indicata nella landing page.

• Cognition SWE-2 — proprietario, esclusivo di Devin. Nessun listino prezzi per token pubblicato, nessun ID modello da chiamare, nessun peso. Se vuoi SWE-2, devi comprare Devin.

• I modelli di base — Kimi K3 è nel catalogo di OrcaRouter a 3 $ per milione di token di input e 15 $ per milione di token di output, prezzo di listino del fornitore trasferito con 0% di ricarico. Claude Opus 5.5, uno dei modelli usati per redigere le specifiche di Signal, costa 4 $ e 20 $. G​emini 4 Carbon, che alimentava gli agenti di dimostrazione di AlphaProof Code, non è qualcosa che offriamo, e nulla qui suggerisce che ospitiamo AlphaProof Code stesso.

Quella terza riga è l'unica parte di questo confronto con un conto da pagare oggi. Se stai costruendo un workflow di coding agentico, la scelta pratica non è tra questi due sistemi — è tra i modelli che ci sono sotto, e sia Kimi K3 sia Claude Opus 5.5 sono a una sola chiave di distanza con failover automatico se un provider ha una giornata storta. Un DSL di routing ti consente di inviare lo stesso task a due di essi e confrontare i diff prima che uno dei due tocchi un repository.

Con quale modalità di errore puoi convivere

SWE-2 fallisce producendo una patch che non compila, oppure che compila ed è sbagliata, oppure che è corretta ma non unibile. Ognuno di questi fallimenti è individuabile leggendo il diff o eseguendo i test, e ognuno di essi costa un ciclo di revisione. Il sistema è progettato attorno a questo: Cognition riporta il best-of-N tra le varie impostazioni di reasoning-effort, che è ciò che si fa quando l'output è probabilistico.

AlphaProof Code fallisce non producendo una dimostrazione, a quel punto gli agenti continuano a lavorare — per ore, a volte giorni, con una build pulita che può richiedere diverse ore e correzioni della dimostrazione innescate da una modifica di una riga al codice sorgente. Il documento afferma che c'è "ampio margine di ottimizzazione" sia nelle dimostrazioni generate sia nelle tecniche, il che è un modo educato per dire che il processo è lento e fragile. Ma quando riesce non c'è alcun ciclo di revisione, perché non c'è nulla da revisionare. Lean ha già dato il suo assenso.

Per un team che rilascia una funzionalità giovedì, quel compromesso è ovvio e SWE-2 vince. Per un team che rilascia un protocollo crittografico che proteggerà le conversazioni per un decennio, l'intera categoria di SWE-2 è lo strumento sbagliato, e il fatto che abbia ottenuto il 92,8% su Terminal-Bench 2.1 è irrilevante.

Cosa li renderebbe davvero comparabili?

Una cosa: un benchmark che misura se l'output di un agente è corretto piuttosto che se è accettato. FrontierCode approssima questo con la mergeability definita dai maintainer, che è quanto di più vicino la generazione di codice abbia raggiunto. AlphaProof Code lo aggira del tutto scegliendo un dominio in cui un kernel può arbitrare. Se qualcuno costruisse una suite di attività in cui la risposta corretta è verificabile meccanicamente rispetto a una specifica — non una suite di test, una specifica — i due sistemi potrebbero essere valutati su un unico asse e il confronto avrebbe un senso.

Fino a quel momento, la lettura utile è più ristretta. AlphaProof Code ti dice che un team di cinque persone con strumenti agentici può produrre un corpus di dimostrazioni che un tempo richiedeva anni, il che è un'affermazione su quanto costa la verifica. SWE-2 ti dice che una base open-weight post-addestrata può collocarsi entro un punto dalla frontiera su un benchmark di coding a un costo inferiore del 64%, il che è un'affermazione su quanto costa il coding. Entrambi i costi stanno scendendo. Scendono a ritmi diversi, per ragioni diverse, e una classifica che li mettesse nella stessa tabella ti mentirebbe.

Se volete il consiglio pratico: usate sistemi a forma di SWE-2 per il codice che una suite di test può validare, e iniziate a leggere il repository degli artefatti di AlphaProof Code se avete codice che una suite di test non può validare. La seconda categoria è più piccola di quanto pensi la maggior parte dei team e più rilevante di quanto chiunque di loro ammetta.