Ultramarine 1 Flash vs GPT-5.6 Luna: Dwa modele, które nigdy nie pojawiają się na tej samej tablicy wyników

Pierwszą rzeczą, którą warto zauważyć w tym zestawieniu, jest to, czego brakuje na wykresie samego dostawcy. Paper Instruments opublikował Ultramarine 1 Flash 14 października 2026 r. wraz z sześcioma tabelami benchmarków i wykresem kosztu do jakości obejmującym trzydzieści kilka konfiguracji modeli. GPT-5.6 Luna nie występuje na wykresie. Ani przy niskim, ani przy średnim, ani przy maksymalnym poziomie wysiłku. Bliźniaczy model GPT-5.6 Sol jest tam na każdym poziomie wysiłku; model o nazwie GPT-6 Luna jest tam z wynikiem 58,3 przy 0,11 USD za zadanie; GPT-5.6 Luna nie pojawia się w ogóle. A po drugiej stronie Artificial Analysis ma wpis dla GPT-5.6 Luna — Intelligence Index 37, 0,18 USD za ukończone zadanie, 115,4 tokena na sekundę — i żadnego wpisu dla Ultramarine 1 Flash. Dwa modele wydane w odstępie trzech miesięcy, przeznaczone do niskokosztowej pracy, a żadna strona trzecia nigdy nie umieściła jednego z nich na benchmarku zawierającym drugi.

Ta nieobecność to porównanie. GPT-5.6 Luna to szybka, oszczędna warstwa z rodziny GPT-5.6 firmy OpenAI, wydana 9 lipca 2026 r., mająca niezależny wynik w kompozycie dziesięciu ewaluacji. Ultramarine 1 Flash to efekt dostrajania GLM-5.3 Flash metodą uczenia ze wzmocnieniem, wyceniony na 0,15 USD za tokeny wejściowe / 0,50 USD za tokeny wyjściowe za milion tokenów, stworzony do tworzenia skoroszytów Excel, prezentacji i notatek Word, a nie odpowiedzi, i opierający się wyłącznie na liczbach swojego producenta. Wszystko poniżej dotyczy tego, co można, a czego nie można wywnioskować z tego zestawienia.

Gdzie faktycznie znajdują się te dwa rekordy

Liczby Luny to pomiary Artificial Analysis na własnym API OpenAI. Liczby Ultramarine to stawki opublikowane przez Paper Instruments oraz własne opublikowane ewaluacje Ultramarine, przy czym wartość kontekstu zaczerpnięto z konfiguracji treningowej podanej w raporcie technicznym Ultramarine.

• Niezależny wynik — Intelligence Index 37 przy maksymalnym wysiłku, czwarty spośród 148 modeli w swojej klasie, dla GPT-5.6 Luna w porównaniu z brakiem jakiejkolwiek niezależnej oceny dla Ultramarine 1 Flash.

• Cena wejściowa, zgodnie z cennikami — 0,20 USD za milion tokenów vs 0,15 USD. Model Paper Instruments jest o 25% tańszy na wejściu.

• Cena za dane wyjściowe — 1,20 USD vs 0,50 USD za milion. 2,4x, największa różnica w tym zestawieniu.

• Buforowane dane wejściowe — 0,02 USD za milion (90% zniżki) dla Luna w porównaniu z 0,03 USD (80% zniżki). Różnica jednego centa na korzyść OpenAI.

• Kontekst — 1 050 000 tokenów w cenniku Luny vs 131 072 w konfiguracji treningowej Ultramarine. Osiem razy większe okno i jedyna pozycja, w której różnica nie jest mała.

• Maksymalna liczba tokenów wyjściowych — 128 000 tokenów w porównaniu z niepublikowanymi danymi.

• Zmierzony koszt przypadający na ukończone zadanie — 0,18 USD w Intelligence Index dla Luna (maksymalny wysiłek) vs 0,13 USD w PI Knowledge Work dla Ultramarine 1 Flash. Dwa różne zestawy, dwa różne rodzaje zadań, dwie liczby, które wyglądają porównywalnie, a nie są.

• Pierwszy token — 121,46 sekundy dla Luna przy maksymalnym wysiłku w API OpenAI, w porównaniu z medianą 1,85 sekundy dla jego przedziału cenowego; nieopublikowany dla Ultramarine 1 Flash w żadnej formie.

Dwuminutowy pierwszy token i dlaczego jest to ustawienie, a nie wada

Ta wartość 121,46 sekundy zasługuje na osobną sekcję, ponieważ to właśnie taki rodzaj liczby bywa cytowany jako wada, gdy w rzeczywistości jest parametrem.

GPT-5.6 Luna przy maksymalnym wysiłku rozumowania prowadzi rozważania, zanim cokolwiek wygeneruje. W Intelligence Index po rozpoczęciu generuje 115,4 tokena wyjściowego na sekundę oraz łącznie 150 milionów tokenów wyjściowych na ukończenie zestawu testów — 41. na 60 w swojej klasie pod względem rozwlekłości, opisywany przez Artificial Analysis jako nieco rozwlekły na tle mediany 95 milionów. Wynik 37 w Intelligence Index jest mierzony przy tym maksymalnym ustawieniu.

Model obsługuje konfigurowalny wysiłek, co oznacza, że te same wagi, które zaczynają odpowiadać po dwóch minutach, można przestawić na poziom reagujący natychmiast, przy niższym wyniku. OpenAI nie publikuje rozbicia według poziomu wysiłku w zapisie Artificial Analysis, więc wielkość tego spadku nie jest ujawniona — domyślne wywołanie jest gdzieś poniżej 37 o wartość, której nikt poza OpenAI nie zmierzył. W przypadku kroku typu fan-out, w którym sto tanich wywołań szkicuje coś krótkiego, to jest właściwa konfiguracja. W przypadku pojedynczego trudnego zadania na końcu łańcucha właściwy jest maksymalny wysiłek. W obu przypadkach chodzi o ten sam model i żaden nie jest błędnie skonfigurowany.

Ultramarine 1 Flash nie publikuje żadnej wartości opóźnienia, żadnej wartości przepustowości ani czasu do pierwszego tokenu. Jego raport techniczny ujawnia jednak zakres operacyjny, w którym był trenowany i oceniany — 131 072 tokenów kontekstu, limit 250 tur w pętli agenta, kompaktowanie wyzwalane przy 85% okna lub gdy pozostaje 30 000 tokenów — a środowisko zbudowane do kompaktowania własnej pamięci roboczej to środowisko zbudowane do długotrwałych zadań. To wnioskowanie o charakterze zadania, a nie dowód na szybkość, a uczciwe stanowisko jest takie, że jedna strona tego porównania ma zmierzony problem z opóźnieniem, a druga nie ma żadnego pomiaru.

Co mierzy benchmark dostarczanych rezultatów, czego nie potrafi zmierzyć indeks inteligencji

Powód, dla którego te dwa modele nigdy się nie spotykają, nie jest przypadkiem harmonogramu. Testy porównawcze celowo mierzą różne rzeczy.

Intelligence Index, który daje Lunie jej 37, to kompozycja dziesięciu ewaluacji — AA-Briefcase, GDPval-AA, AutomationBench i innych — z których każda zawiera odpowiedzi, które oceniający może sprawdzić. To właśnie czyni go powtarzalnym i dlatego ewaluator niemający żadnego interesu w żadnym modelu może go przeprowadzić i opublikować porównywalną liczbę dla wszystkich.

PI Knowledge Work powstał dokładnie dlatego, że powtarzalne części pracy zawodowej nie są tymi, które mają znaczenie. Memorandum due diligence nie kompiluje się. Prezentacja dla zarządu nie ma testów jednostkowych. Model cenowy z osadzoną prognozą na żywo będzie błędny w sposób, którego osoba sprawdzająca test wielokrotnego wyboru nie dostrzeże. Dlatego Paper Instruments opracowało rubryki zamiast tego — po jednej na zadanie, a każde kryterium wytyczono jako granicę obejmującą akceptowalne odpowiedzi, a nie jako wymóg jednej konkretnej odpowiedzi. W swoim raporcie przeciwstawia nadmiernie dopasowane kryterium, które odrzuca dwie z trzech poprawnych odpowiedzi, niejasnemu kryterium, które akceptuje trzy błędne, a następnie pokazuje przepisaną wersję zgodną z tą granicą — co jest uczciwą demonstracją tego, dlaczego jest to trudne, i uczciwym ostrzeżeniem, jak dużą wagę powinien mieć pojedynczy wynik rubryki.

Co tak naprawdę warte są te wyniki, mówiąc wprost: Ultramarine 1 Flash uzyskuje 59,3 w tym zestawie przy koszcie 0,13 USD za zadanie. GPT-5.6 Sol, większy brat Luny, uzyskuje 55,1 przy koszcie 2,09 USD i pojawia się we wszystkich sześciu tabelach Paper Instruments — 45,4 w JobBench wobec 62,9 Ultramarine, 46,8 w FrontierFinance wobec 53,3, 51,5 w APEX-Agents 1.1 wobec 57,0. Dostawca podaje, że jego zestaw koreluje z Artificial Analysis Intelligence Index na poziomie r = 0,81, co jest poważną liczbą, i to z drugiej ręki. Żadna strona trzecia nie uruchomiła Ultramarine 1 Flash na niczym.

Porównanie, które jest mierzone w ten sam sposób po obu stronach

W tym zestawieniu istnieje dokładnie jedna klasa pomiarów, w której wynik liczbowy żadnej ze stron nie zależy od metodologii drugiej strony: efektywność tokenów, mierzona w ramach jednego zestawu testów za pomocą jednego narzędzia testowego.

Artificial Analysis odnotowuje, że GPT-5.6 Luna zużywa 150 milionów tokenów wyjściowych na ukończenie Intelligence Index — o 58% więcej niż mediana 95 milionów w jej klasie. Ta liczba kryje się za 0,18 USD na zadanie — szybki model, który pisze bardzo dużo, nie jest najtańszym sposobem na kupienie gotowego zadania, a ranking rozwlekłości pozwala zobaczyć dlaczego.

Paper Instruments formułuje przeciwne twierdzenie na temat własnego modelu i robi to w sposób sprawdzalny, a nie tylko twierdzony. We wszystkich sześciu swoich benchmarkach Ultramarine 1 Flash wygenerował o 6,5% mniej tokenów wyjściowych niż GLM-5.3 Flash, model, z którego powstał w ramach dostrajania po treningu — 30,5 miliona wobec 32,7 miliona, z uwzględnieniem rozumowania — uzyskując jednocześnie wyższe wyniki w każdym z tych sześciu. Obie strony tego porównania to ten sam zestaw testowy na tych samych zadaniach, więc nie jest podatne na krytykę, która wisi nad wszystkim innym tutaj. To także kierunek, który nie przychodzi za darmo: dostrajanie po treningu równie często prowadzi do większej gadatliwości, jak i do większej powściągliwości.

Dla każdego, czyj rachunek zdominowany jest przez tokeny wyjściowe, to najbardziej uniwersalny fakt w tej publikacji. Nie mówi się, że Ultramarine 1 Flash jest oszczędniejszy niż GPT-5.6 Luna. Mówi się, że relacja „krótszy z dwóch według modelu bazowego” zachodziła — na zestawie testów, którego nikt spoza firmy nie odtworzył.

Samodzielne uruchomienie testu

GPT-5.6 Luna jest udostępniany przez OrcaRouter w cenie $0.20 za milion tokenów wejściowych i $1.20 za milion tokenów wyjściowych, przy czym poziom wysiłku jest ustawiany dla każdego żądania. To cena katalogowa dostawcy przekazywana dalej bez doliczania czegokolwiek za token, co ma znaczenie w przypadku modelu, którego cena już raz się zmieniła — obniżka o 80%, którą OpenAI zastosowało wcześniej w tym roku, jest tu odzwierciedlona, bez konieczności renegocjowania umowy przez kogokolwiek. Ten sam endpoint obsługuje GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash i GLM-5.3 Flash, z których ostatni jest modelem bazowym, na którym wytrenowano Ultramarine 1 Flash, i jest udostępniany według identycznego cennika $0.15 / $0.50.

Ultramarine 1 Flash nie znajduje się w naszym katalogu; droga do niego prowadzi przez własne API dostawcy oraz platformy zewnętrzne, które go odsprzedają. Ta asymetria to praktyczny wymiar tego porównania. Jeden z tych dwóch modeli możesz już dziś umieścić w ścieżce produkcyjnej, mając za nim trasowany fallback, a przed sobą zmierzony p50. Drugi testujesz pilotażowo na endpointcie dostawcy i oceniasz na podstawie jego własnych wyników.

Który test warto przeprowadzić, a jest tani: wyślij tę samą partię dokumentów do obu, przy domyślnym poziomie wysiłku Luna i przy jej maksymalnym, a następnie porównaj artefakty i faktury. Cały argument specjalisty sprowadza się do tego, że jego wynik wymaga mniej przeróbek. Da się to zmierzyć w jedno popołudnie i to jedyny dowód, który rozstrzygnąłby zestawienie, w którym nikt nie opublikował wspólnej tablicy wyników.

Stanowisko, wyrażone jako to, co wiadomo, a co nie.

Znane, ze źródłem: GPT-5.6 Luna uzyskuje 37 punktów w indeksie zbudowanym z dziesięciu sprawdzalnych ewaluacji, przy koszcie 0,18 USD za ukończone zadanie, z oknem 1 050 000 tokenów i czasem do pierwszego tokenu, który może wynieść nieco ponad dwie minuty przy poziomie wysiłku dającym te 37 punktów. Jest tani w przeliczeniu na token, jak na swoją klasę zdolny, a — według własnego pomiaru Artificial Analysis — skłonny do pisania o 58% więcej niż jego konkurenci.

Zgłoszone przez jego twórcę, nieodtworzone: Ultramarine 1 Flash uzyskuje 59,3 w ocenianym według rubryki zestawie zadań z zakresu finansów, prawa, doradztwa i operacji po 0,13 USD za zadanie, wobec 8,19 USD dla Claude Fable 5 przy 57,8 i 2,09 USD dla GPT-5.6 Sol przy 55,1, i przewyższa swój własny model bazowy we wszystkich sześciu zestawach, generując przy tym o 6,5% mniej tokenów.

Nie wiadomo: czy cokolwiek z tego przetrwa dokument, którego nikt z Paper Instruments nie napisał, jak wygląda opóźnienie modelu pod obciążeniem i czy linijka „Wagi modelu już wkrótce” na stronie dostawcy przełoży się na faktyczną premierę.

Każdy artykuł, który na tej podstawie wskazuje zwycięzcę, sam go wymyślił. Uczciwie można powiedzieć tyle, że jeśli przed podjęciem decyzji potrzebujesz zweryfikowanego wyniku, GPT-5.6 Luna jest jedynym modelem w tej parze, który go ma; a jeśli twoja praca jest produktem końcowym, a nie odpowiedzią, interesująca teza jest w całości po drugiej stronie i nie została przetestowana przez nikogo, kto nie został opłacony za jej testowanie.

Właśnie przy takich porównaniach ujawniają się też tryby awarii: udokumentowane incydenty związane z AI i awarie agentów stojące za modelami z tej klasy zebrano w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis ma własne źródła, wagę, ocenę wiarygodności i flagę sporu.