Muse Spark 1.2 kontra Gemini 3.5 Flash-Lite: Dwa laboratoria, dwie definicje subagenta

W odstępie dwóch tygodni dwa laboratoria wypuściły model i opisały go tym samym słowem. Według własnej karty modelu, Gemini 3.5 Flash-Lite jest „odpowiedni dla podagentów, które wykonują skoncentrowane zadania w złożonych, wieloagentowych przepływach pracy.” Meta twierdzi, że Muse Spark 1.2 może służyć „albo jako główny agent do planowania i delegowania zadań, albo jako podagent wykonujący zadania równolegle.” To samo słownictwo, a potrzeba było Artificial Analysis, które przepuściło oba modele przez swój Intelligence Index, aby pokazać, jak różnie je rozumieją: Flash-Lite ukończył zestaw w 43 milionach tokenów wyjściowych, a Muse Spark 1.2 potrzebował 95 milionów. Jeden z tych modeli myśli krótko i często; drugi myśli intensywnie i długo. Oba nazywają wynik podagentem.

Ten współczynnik tokenów jest w tym porównaniu liczbą najistotniejszą dla decyzji, ponieważ poziom podagentów to coś, co rozgałęziasz — dwadzieścia naraz, sto naraz — a rozgałęzianie mnoży wszystkie nawyki modelu przy każdym wywołaniu. W dalszej części omówiono, co faktycznie zbudowało każde laboratorium, jak wygląda arytmetyka rozgałęziania przy rzeczywistych cenach i gdzie tani wybór okazuje się tym kosztownym.

Co każde laboratorium rozumie przez słowo

Wersja Flash-Lite to definicja roli oparta na rozmiarze. Gemini 3.5 Flash-Lite to najtańszy wariant w swojej rodzinie, a taka pozycja jest godna uwagi, ponieważ łączy poziomy myślenia bezpośrednio z wieloetapowymi zadaniami subagentów — po raz pierwszy wariant w tej rodzinie został opisany przez rolę agenta, a nie przez rozmiar czy szybkość. Rozumowanie jest obowiązkowe, ale domyślny wysiłek jest minimalny, suwak można ustawić maksymalnie na wysoki, a model zaprojektowano do masowego wywoływania i szybkiego odpowiadania. Producent podaje 54,2% na SWE-Bench Pro wobec 49,6% dla Gemini 3 Flash oraz 74,0% na OSWorld-Verified wobec 65,1% — obie wartości pochodzą od producenta, nie zostały niezależnie potwierdzone i obie są przedstawiane jako zyski agentowe, a nie surowej inteligencji.

Wersja Meta to definicja roli oparta na topologii. Opis produktu Muse Spark 1.2 przedstawia model, który potrafi gromadzić kontekst, tworzyć plan i delegować wykonanie do równoległych podagentów — albo sam być jednym z tych podagentów. Jego suwak rozumowania przebiega od minimalnego do xhigh z domyślnym ustawieniem średnim, a Meta wprost wymienia docelowe obciążenia: refaktoryzację wielu plików, rozszerzone sesje debugowania, generowanie całego repozytorium. To model zaprojektowany jako orkiestrator, który może również wykonać pracę, co odróżnia go od modelu przeznaczonego do uruchamiania po dwadzieścia sztuk naraz.

Żadne z laboratoriów nie opublikowało benchmarku dla tego konkretnego twierdzenia. Meta wypuściła wersję 1.2 5 sierpnia bez żadnego postu premierowego — jej strona ogłoszenia Muse Spark 1.1 wciąż opisuje poprzednią wersję.

Luka, którą indeks faktycznie mierzy

Niezależne wyniki, od Artificial Analysis, który zastosował ten sam złożony wskaźnik dziewięciu ocen na obu:

• Indeks Inteligencji — Muse Spark 1.2 (xhigh) 54, pozycja #13 z 185. Gemini 3.5 Flash-Lite 36, pozycja #20 z 163. Osiemnaście punktów, przy medianie klasy wynoszącej 32.

• Prędkość wyjściowa — 165,0 tokenów na sekundę wobec 343,6. Flash-Lite strumieniuje ponad dwa razy szybciej.

• Czas do pierwszego tokena — 26,12 sekundy wobec 10,30, oba przy maksymalnym wysiłku. Artificial Analysis zauważa, że 10,30 s Flash-Lite samo w sobie jest na górnej granicy dla modeli rozumujących w swojej klasie cenowej.

• Rozwlekłość — 95M tokenów wyjściowych wobec 43M dla tego samego zestawu, przy medianie 65M we wszystkich modelach. Muse Spark 1.2 jest o 46% powyżej mediany; Flash-Lite o 34% poniżej.

• Koszt prowadzenia indeksu — 637,85 USD wobec 153,08 USD.

• W rozbiciu na wymiarysubindeksy Artificial Analysis oceniają Gemini 3.5 Flash-Lite na 49.3 w kodowaniu i 26.8 w zadaniach agentowych. Nie opublikowano jeszcze szczegółowego podziału wyników dla Muse Spark 1.2; jego poprzednia wersja zdobyła 71.3 i 37.5.

Osiemnaście punktów indeksowych to nie kwestia zaokrągleń. To nie są dwaj kandydaci na to samo miejsce.

Arytmetyka fan-outu

Cena za token to niewłaściwa miara dla poziomu subagentów, ponieważ cały sens tego poziomu polega na tym, że uruchamia się ich wiele. Przeanalizujmy przykład w cenach katalogowych — 0,30 USD za token wejściowy i 2,50 USD za token wyjściowy dla Gemini 3.5 Flash-Lite, 1,25 USD za token wejściowy i 4,25 USD za token wyjściowy dla Muse Spark 1.2.

Orchestrator wysyła dwudziestu podagentów. Każdy odczytuje 25 000 tokenów zawężonego kontekstu i zwraca 1 500 tokenów.

• Gemini 3.5 Flash-Lite — 20 × ($0.0075 + $0.00375) = około 22,5 centa za fan-out.

• Muse Spark 1.2 — 20 × ($0.03125 + $0.006375) = około 75 centów za fan-out.

Trzy i jedna trzecia razy, co brzmi wykonalnie. Teraz zastosujmy zmierzoną różnicę w rozwlekłości. Jeśli Muse Spark 1.2 pisze proporcjonalnie więcej niż Flash-Lite, tak jak na indeksie — mniej więcej 2,2 razy więcej tokenów wyjściowych za identyczną pracę — te odpowiedzi liczące 1500 tokenów urosną do około 3300, a fan-out wzrośnie do około 91 centów. Cztery razy, nie trzy. Przy stu fan-outach na godzinę w ruchliwym systemie agentowym to różnica między 22 a 91 dolarami na godzinę, czyli mniej więcej 600 000 dolarów różnicy rocznie przy ciągłym obciążeniu.

Dwa szczegóły cenowe sprawiają, że rzeczywista luka jest jeszcze szersza w jedną stronę i węższa w drugą:

• Flash-Lite rozlicza wewnętrzne rozumowanie według stawki za tokeny wyjściowe. Jego cennik wycenia wewnętrzne tokeny rozumowania na 2,50 USD za milion — tyle samo, co dla widocznych wyników. Myślenie nie jest darmowe, jest po prostu niewidoczne w odpowiedzi. Jeśli podagent rozważy 2000 tokenów przed odpowiedzią, dolicz pół centa za wywołanie, albo 10 centów przy rozgałęzieniu.

• Caching wypada korzystniej dla Muse Spark 1.2 pod względem proporcji.Odczyt danych z pamięci podręcznej kosztuje 0,15 USD za milion wobec ceny katalogowej 1,25 USD — to rabat 88%. Flash-Lite odczytuje dane z pamięci podręcznej za 0,03 USD wobec 0,30 USD, czyli z rabatem 90%, ale pobiera też około 0,083 USD za milion za zapis do pamięci podręcznej, podczas gdy Muse Spark 1.2 nie publikuje osobnej opłaty za zapis do pamięci podręcznej. W przypadku fan-out, gdzie każdy subagent współdzieli ten sam duży prefiks, różnica znacząco się zmniejsza.

To w opóźnieniach produkcyjnych Flash-Lite wypada najlepiej, a wyniki benchmarków to maskują. Na OrcaRouter, w ciągu tygodnia rzeczywistego ruchu, Gemini 3.5 Flash-Lite pokazuje czas do pierwszego tokenu na poziomie p50 wynoszący 816 milisekund oraz p95 wynoszący 4,57 sekundy. Muse Spark 1.1 – najbliższy dostępny odpowiednik, ponieważ wersja 1.2 nie ma jeszcze telemetrii – pokazuje p50 wynoszące 1,84 sekundy i p95 wynoszące 6,00 sekundy. Gdy dwadzieścia podagentów działa równolegle, najwolniejszy z nich wyznacza czas rzeczywisty, więc to p95, a nie p50, decyduje o opóźnieniu fan-outu.

Gdzie tania opcja jest złym wyborem.

Cztery ograniczenia Gemini 3.5 Flash-Lite, które nie pojawiają się w porównaniu cen, a pojawią się podczas analizy incydentu.

• Pułap wyjścia wynoszący 65 536 tokenów. To połowa tego, na co pozwala większość modeli w tej klasie, i twarda granica dla podagenta poproszonego o wygenerowanie dużego pliku lub zwrócenie długiego ustrukturyzowanego dokumentu. Endpoint Muse Spark 1.2 nie deklaruje żadnego maksymalnego limitu długości odpowiedzi — co jest na tyle nietypowe, że należy to przetestować, zamiast ufać, ale nie jest to udokumentowany limit.

• To niemoderowany punkt końcowy. Wpis Flash-Lite nie ma flagi moderacji; wpis Meta dla Muse Spark 1.2 ma. To stanowi realną przewagę dla niektórych obciążeń i problem zgodności dla innych, i powinien to być świadomy wybór, a nie odkrycie.

• Drogie wbudowane wyszukiwanie.Narzędzie do wyszukiwania w sieci Flash-Lite kosztuje około 14 dolarów za tysiąc wywołań, podczas gdy Muse Spark 1.2 – 2,50 dolara. Jeśli twoje subagenty badają, a nie tylko czytają, tani model staje się drogi — pięć i pół raza droższy — a liczba wyszukiwań w architekturze fan-out skaluje się wraz z fan-outem.

• Jego cena wzrosła, a nie spadła. Gemini 3.5 Flash-Lite kosztuje 0,30 USD i 2,50 USD, podczas gdy poprzedni Gemini 3.1 Flash-Lite kosztował 0,25 USD i 1,50 USD. Wyjście jest o 67% droższe niż poziom, który zastępuje. Jeśli dostosowałeś budżet subagenta do starszego modelu, przeskaluj go.

Jeszcze jedna asymetria, którą warto stwierdzić wprost: {{1}}Muse Spark 1.2 jest serwowany przez dokładnie jednego dostawcę — Meta — bez hostów stron trzecich i bez fallbacku.{{/1}} {{2}}Gemini 3.5 Flash-Lite ma standardowy, wieloregionalny zasięg serwowania po stronie producenta.{{/2}} Dla orkiestratora jest to pojedynczy punkt awarii dla całego drzewa agentów; dla warstwy roboczej — pojedynczy punkt awarii dla fan-outu.

Połączenie, na którym ostatecznie wyląduje większość zespołów

Zestawione ze sobą, te dwa modele to nie tyle konkurenci, ile dwie połówki jednej architektury, a sam opis produktu Meta mówi to wprost, gdy opisuje rolę agenta głównego oddzielnie od roli podagenta.

Kształt, który wynika z liczb: Muse Spark 1.2 jako orkiestrator, Gemini 3.5 Flash-Lite jako pracownicy. Jedno kosztowne, przemyślane wywołanie, które czyta repozytorium, trzyma plan i decyduje, co delegować — gdzie 26 sekund myślenia i rozwlekłość na skalę 95M tokenów dają plan wart wykonania — a następnie dwadzieścia tanich, szybkich, wąskich wywołań, z których każde robi jedną konkretną rzecz i zwraca wynik w mniej niż sekundę przy p50. Płacisz stawki bliskie czołówce raz na zadanie i budżetowe stawki za jednostkę pracy, co jest dokładnie krzywą kosztów, jakiej pragnie architektura fan-out.

Odwróć to, a ekonomia runie. Dwadzieścia podagentów Muse Spark 1.2 po 91 centów za fan-out to czterokrotny rachunek za pracę, którą model słabszy o 18 punktów wykonuje w jednej trzeciej czasu, a orkiestrator Flash-Lite o indeksie 36 będzie tworzyć plany, których pracownicy nie będą w stanie uratować.

Budowanie z podziałem na dwóch dostawców bywało niezręczne. Gemini 3.5 Flash-Lite jest w katalogu OrcaRouter w cenie $0.30 i $2.50 — cena katalogowa dostawcy, przekazywana bez marży, więc zmiana ceny dociera do nas tego samego dnia, a nie po cyklu kontraktowym — a Muse Spark 1.1 jest tam w cenie $1.25 i $4.25 na tej samej zasadzie, oba za jednym punktem końcowym zgodnym z OpenAI. To znaczy, że wzorzec orkiestrator-pracownicy to dwa identyfikatory modeli w jednej bazie kodu, a nie dwa SDK, dwa klucze i dwie faktury, a automatyczne przełączanie awaryjne obsługuje przypadek, gdy jeden z dostawców ma złe popołudnie w trakcie fan-outu. Żeby być dokładnym co do tego, co jest dostępne: Sam Muse Spark 1.2 nie jest jeszcze w katalogu — Meta udostępnia go bezpośrednio jako jedyny dostawca — więc dziś najbliższa wersja tego stosu działa na 1.1 w roli orkiestratora.

Wybieraj według roli, nie wyniku

Jeśli wybierasz warstwę roboczą — parsowanie dokumentów, ekstrakcję danych, ograniczone edycje plików, klasyfikację, wąską, powtarzalną środkową część drzewa agentów — Gemini 3.5 Flash-Lite jest lepszym narzędziem, a deficyt 18 punktów indeksu jest w większości nieistotny, ponieważ nie prosisz go o rozumowanie. Zwróć uwagę na górny limit wyników i ceny wyszukiwania.

Jeśli wybierasz model, który decyduje, co robią pracownicy, Muse Spark 1.2 jest mocniejszym kandydatem z tych dwóch, z zastrzeżeniem, że nie ma niezależnego agentowego wyniku dla poszczególnych wymiarów, żadnego rekordu areny, żadnej telemetrii produkcyjnej i tylko jednego dostawcę. To są luki do zamknięcia, zanim będzie można mu powierzyć plan produkcyjny.

A jeśli liczyłeś, że jeden model poradzi sobie z oboma zadaniami, to uczciwa odpowiedź z pomiarów brzmi: żaden z nich tego nie potrafi. Flash-Lite nie potrafi planować przy indeksie 36; Muse Spark 1.2 nie może być uruchamiany dwadzieścia naraz po 91 centów za fan-out. Słowo „subagent” pojawiające się w obu opisach produktów to marketingowy zbieg okoliczności, a nie oznaka, że pasują do tego samego slotu.