Ultramarine 1 Flash vs Claude Haiku 4.5: Dwie liczby kosztu na zadanie, które nie mierzą tego samego

Oba modele w tym porównaniu publikują koszt na zadanie, a pokusa jest taka, by postawić te liczby obok siebie i odjąć. Paper Instruments podaje, że Ultramarine 1 Flashwykonuje zadanie za 0,13 $. Artificial Analysis mierzy Claude Haiku 4.5, w jego konfiguracji rozumowania, na 0,28 $ za ukończone zadanie Intelligence Index. Jedna wartość to mniej niż połowa drugiej, a gdyby to był cały obraz sytuacji, decyzja zajęłaby dziesięć sekund. To nie jest cały obraz, ponieważ te dwie liczby pochodzą z różnych zestawów, które proszą model o robienie różnych rzeczy, a zrozumienie, który zestaw przypomina twoją pracę, to całe porównanie. Same stawki są jeszcze bardziej odległe od siebie: 0,15 $ za milion tokenów wejściowych i 0,50 $ wyjściowych dla modelu Paper Instruments w porównaniu z 1,00 $ i 5,00 $ dla A​nthropic — różnica 6,7x na wejściu i 10x na wyjściu.

Jest jeszcze druga asymetria. Claude Haiku 4.5 ma opublikowany wynik od laboratorium, które nie jest jego twórcą. Ultramarine 1 Flash ma opublikowany wynik od firmy, która go wytrenowała, w zestawie testów przez nią zbudowanym. Oba te fakty mają tu większe znaczenie niż jakakolwiek pojedyncza liczba z benchmarku, a żaden z nich nie pojawia się w zestawieniu obok siebie.

Dwie karty stawek i wiersz, który nie jest taki sam na obu

Dane Ultramarine to opublikowany cennik API Paper Instruments oraz jego własne opublikowane oceny. Ceny Claude Haiku 4.5 pochodzą z cennika Anthropic; jego dane dotyczące oceny to pomiary Artificial Analysis, oznaczone jako takie.

• Wejście — Ultramarine 1 Flash 0,15 USD za milion tokenów vs Claude Haiku 4.5 1,00 USD. Model Anthropic kosztuje 6,7 razy więcej na wejściu.

• Buforowane dane wejściowe — 0,03 USD vs 0,10 USD za milion, czyli 90% zniżki po stronie Anthropic wobec 80% zniżki po stronie Paper Instruments. Bezwzględna różnica pozostaje duża, proporcjonalna się zmniejsza.

• Dane wyjściowe — 0,50 USD vs 5,00 USD za milion. 10x, i to jest pozycja, w której różnica faktycznie się uwidacznia, ponieważ praca z dokumentami generuje bardzo dużą ilość danych wyjściowych.

• Kontekst — 131 072 tokeny w konfiguracji treningowej określonej w raporcie technicznym vs 200 000 w cenniku Haiku. Anthropic ma około 1,5x więcej.

• Maksymalna wielkość danych wyjściowych — nieopublikowana przez Paper Instruments w porównaniu z 64 000 tokenów dla Claude Haiku 4.5. Jedna pusta komórka na liście.

• Dane wejściowe — Claude Haiku 4.5 obsługuje przesyłanie tekstu, obrazów i plików. Ultramarine 1 Flash jest zbudowany wokół pracy z tekstem i dokumentami; jego podstawa, GLM-5.3 Flash, jest natywnie multimodalna, ale Paper Instruments nie publikuje listy modalności dla tego modelu pochodnego.

• Zmierzony koszt na ukończone zadanie — 0,13 USD w PI Knowledge Work dla Ultramarine 1 Flash w porównaniu z 0,28 USD w Intelligence Index dla Claude Haiku 4.5 (reasoning). Liczby, które ludzie będą sobie nawzajem przytaczać. W następnej sekcji wyjaśniono, dlaczego nie są one tą samą jednostką.

Co tak naprawdę obejmuje każdy wynik

Opublikowany wynik Claude Haiku 4.5 występuje w dwóch konfiguracjach i warto je rozdzielić, ponieważ wynik wyszukiwania zwykle pokaże ci niewłaściwą. Artificial Analysis podaje, że konfiguracja bez rozumowania ma Intelligence Index wynoszący 15 przy 87,3 tokenu wyjściowego na sekundę. Konfiguracja z rozumowaniem — ta z przypisaną wartością kosztu na zadanie i ta, której użyto w całym tym tekście — osiąga Intelligence Index 17, 90,0 tokenu wyjściowego na sekundę, 1,00 USD za milion tokenów wejściowych i 5,00 USD za milion tokenów wyjściowych, 90% zniżki na pamięć podręczną, 0,28 USD za ukończone zadanie Intelligence Index oraz 78 milionów tokenów wyjściowych rozwlekłości. Jej okno kontekstowe wynosi 200 000 tokenów, a data odcięcia wiedzy to lipiec 2025; model obsługuje tekst i obraz.

Intelligence Index powstaje z ewaluacji matematycznych, programistycznych, rozumowania i agentowych. Żaden z jego testów składowych nie prosi modelu o stworzenie prezentacji dla zarządu, memorandum due diligence ani modelu w Excelu z osadzoną prognozą na żywo, ponieważ te artefakty nie mają jednej poprawnej odpowiedzi, a benchmark, który by je oceniał, wymagałby rubryki dla każdego zadania.

Jest to dokładnie to, co zbudował Paper Instruments, i dokładnie dlatego porównanie nie może być odejmowaniem. PI Knowledge Work to zestaw gotowych do przekazania klientowi rezultatów w finansach, prawie, konsultingu i operacjach, ocenianych zadanie po zadaniu według autorskich rubryk przez model oceniający według rubryk. Ultramarine 1 Flash uzyskuje tam 59,3 przy 0,13 USD za zadanie. Wynik 59,3 w rubryce dotyczącej dostarczanych dokumentów i wynik 17 w indeksie matematyczno-programistycznym nie są porównywalnymi wielkościami. Podobnie jest z kosztem, ponieważ zadanie w jednym zestawie może być o rząd wielkości dłuższe niż zadanie w drugim.

To, co to zestawienie faktycznie potwierdza, jest węższe i wciąż użyteczne. Claude Haiku 4.5 został zmierzony przez kogoś, kto nie ma w tym żadnego interesu, w testach, których nikt w A​nthropic nie projektował. Ultramarine 1 Flash — nie. To nie jest krytyka liczb Paper Instruments — firma ujawnia swoją metodę w nietypowo szczegółowy sposób — ale różnica w rodzaju oferowanych dowodów, a nabywca, który stawia ten wybór przed komitetem ds. ryzyka, od razu na nią natrafi.

Gdzie Claude Haiku 4.5 wygrywa bezspornie

Trzy miejsca i w żadnym z nich nie chodzi o bycie mądrzejszym.

Wejście multimodalne jest najoczywistsze. Zeskanowana umowa, zrzut ekranu zepsutego arkusza kalkulacyjnego, zdjęcie tablicy — to wszystko trafia do Claude Haiku 4.5 przez interfejs, który obsługuje to niezmiennie od roku. Ultramarine 1 Flash opiera się na modelu bazowym, który odczytuje obrazy i wideo, ale dostawca nie publikuje żadnej listy modalności dla swojego modelu pochodnego, a żaden przykład w raporcie technicznym nie opiera się na obrazie, na który model musi spojrzeć. Jeśli Twoje dokumenty przychodzą zeskanowane, to rozstrzyga tę kwestię samo przez się.

Dojrzałość operacyjna jest druga. Model mający za sobą rok produkcyjnego ruchu ma już swoje tryby awarii odkryte i udokumentowane przez osoby, którym nie płacono za ich wykrywanie. W przypadku modelu opublikowanego 14 października 2026 r. tak nie jest, a pierwszy tydzień każdego nowego endpointu to moment, w którym dowiadujesz się, jak zachowuje się pod obciążeniem.

Niezależna weryfikacja jest trzecia i to właśnie ona się kumuluje. Każdy dodatkowy miesiąc życia Haiku 4.5 to kolejny miesiąc, w którym ktoś przetestował je na własnej pracy i zapisał, co się stało.

Gdzie luka zmniejsza się niemal do zera — i dlaczego arytmetyka jest myląca

Nagłówkowe 10x na wyjściu jest prawdziwe, a przy zadaniu z długim dokumentem daje dokładnie taki rachunek, jakiego można się spodziewać. To, co nagłówek ukrywa, to fakt, że ekonomika przypadająca na jedno zadanie w obu modelach może się zbiegać, ponieważ zadanie w PI Knowledge Work to nie ta sama ilość pracy co zadanie w Intelligence Index — i ponieważ model Anthropic w praktyce w dużym stopniu korzysta z pamięci podręcznej.

Po stronie Paper Instruments jest kontrintuicyjna liczba, której warto się dobrze przyjrzeć. W swoich sześciu benchmarkach Ultramarine 1 Flash generuje o 6,5% mniej tokenów wyjściowych niż model GLM-5.3 Flash, od którego powstał w wyniku post-trainingu — 30,5 mln wobec 32,7 mln, z rozumowaniem włącznie — uzyskując jednocześnie lepsze wyniki we wszystkich sześciu. Poprawiająca się efektywność tokenowa nie jest typowym kierunkiem zmian w przypadku procesu post-trainingu, a w cenniku za milion tokenów to druga zniżka nałożona na pierwszą. To jedyne porównanie na stronie Paper Instruments, w którym obie strony mierzy się tą samą metodą na tym samym zestawie testów, co czyni je najbardziej wiarygodną liczbą w tej publikacji.

Przeciwko temu stoi fakt, że Claude Haiku 4.5 jest tańszym modelem w jednym porównaniu, którego nikt nie reklamuje: przy 0,28 USD za ukończone zadanie Index jego cena dotyczy zestawu, którego zadania są krótsze i mniej agentowe niż memorandum due diligence. Postaw przed jednym i drugim prawdziwy prawniczy lub finansowy produkt końcowy, a liczba 0,13 USD nigdy nie mierzyła tej samej jednostki pracy co liczba 0,28 USD.

Oba modele są dostępne pod jednym kluczem przez OrcaRouter, jeśli chcesz rozstrzygnąć to empirycznie, a nie przez czytanie. Claude Haiku 4.5 jest oferowany w cenie $1.00 i $5.00 za milion tokenów i bez doliczania za token — cena katalogowa dostawcy przekazywana wprost, więc zmiana stawek dostawcy jest u nas widoczna tego samego dnia, co w przypadku modelu, którego cena już się wcześniej zmieniała, nie jest cechą trywialną. Przepuszczenie tych samych dwudziestu dokumentów przez oba modele i przeczytanie faktur kosztuje mniej niż spotkanie o tym, który wybrać, i daje liczbę zamiast argumentu.

Decyzja, wyrażona jako rozwidlenie

Jeśli dane wejściowe to dokument, który ktoś zeskanował, albo zrzut ekranu, odpowiedź brzmi Claude Haiku 4.5 i nie ma o czym więcej dyskutować.

Jeśli wejściem jest tekst, a wyjściem gotowy produkt — model, prezentacja, notatka — i wolumen jest na tyle duży, że $0,15 versus $1,00 na wejściu zmienia kształt projektu, Ultramarine 1 Flash jest wart pilotażu na twojej własnej pracy. Ma zaledwie dzień. Kwota $0,13 została podana przez dostawcę na podstawie zbudowanego przez niego zestawu testów i nie istnieje jeszcze niezależna ocena. Ale cennik jest prawdziwy, porównanie efektywności tokenowej jest zmierzone w jedyny sposób, w jaki można je uczciwie zmierzyć, a przewagi nad jego własnym modelem bazowym w czterech benchmarkach, w których prowadzi, są spójne, a nie wybrane wybiórczo.

Jeśli Twoje obciążenie obejmuje oba przypadki, użytecznym posunięciem nie jest wybór. Reguła routingu może utrzymać ścieżkę dokumentów skanowanych na modelu Anthropic, a ścieżkę od tekstu do gotowego produktu skierować do tego z dwóch, który na próbce spełni Twój próg jakości — a jeśli nowszy zawiedzie, żądanie trafi do starszego bez zmiany kodu i bez podpisywania drugiej umowy.

To, co rozstrzygnęłoby otwartą kwestię, to jedna niezależna ocena Ultramarine 1 Flash na zestawie testów, którego nie napisał jego twórca. Dopóki taka ocena nie istnieje, uczciwe stanowisko jest takie, że Claude Haiku 4.5 to model, którego zachowanie potrafisz przewidzieć, a Ultramarine 1 Flash to model, z którego chciałbyś móc korzystać ze względu na jego cenę. Nic, co opublikowano dzisiaj, nie mówi, że nie możesz. Nic, co opublikowano dzisiaj, poza własną stroną dostawcy, nie mówi, że możesz.

Właśnie przy takich porównaniach ujawniają się też tryby awarii: udokumentowane incydenty związane z AI i awarie agentów stojące za modelami z tej klasy zebrano w Archiwum Incydentów AI OrcaRouter, gdzie każdy wpis ma własne źródła, wagę, ocenę wiarygodności i flagę sporu.