Samodzielne hostowanie Mistral Large 4: ile tak naprawdę kosztuje Cię 1,06 TB

Wagi są dostępne, bez ograniczeń dostępu, a licencja pozwala na użycie komercyjne. Trzy fakty, które sprawiają, że samodzielne hostowanie Mistral Large 4 wygląda na decyzję, a nie fantazję. Następnie czytasz listę plików: 54 shardy safetensors, 1,060.6 GB w bf16, zanim doliczysz choćby jeden token KV cache. To ta liczba — nie nagłówek o bilionie parametrów — jest tym, wokół czego planujesz pamięć masową i GPU, i właśnie dlatego większość zespołów przeczyta tę stronę i pozostanie przy API.

Dwa punkty kontrolne i czego wymaga każdy z nich

• bf16 — 54 shardy, 1 060,6 GB, dwa z nich po 16,9 GB i 4,2 GB, a pozostałe 52 między 19,7 a 20,0 GB. Nie mieści się to w użyteczny sposób na ośmiu akceleratorach o pojemności 141 GB, gdy zarezerwowany zostanie stan KV, więc planuj więcej sprzętu lub ścieżkę skwantyzowaną.

• NVFP4 — osobne repozytorium, 32 shardy, 610,1 GB, przeznaczone przez Mistral dla sprzętu Blackwell z natywnym wsparciem NVFP4. Własne wytyczne Mistral: cztery GPU B200 lub B300. Twierdzenie, że zachowuje „taką samą wydajność”, jest twierdzeniem producenta, a nie pomiarem.

• Przepis na serwowanie — konfiguracja vLLM w karcie modelu wymaga równoległości tensorowej o wartości 8 z typem danych KV-cache FP8. To konfiguracja, względem której należy przeprowadzić benchmark, a nie obietnica przepustowości.

• Kontekst — Skonfigurowano 1 mln tokenów, na testowanej konfiguracji zmierzono 524 288. Długi kontekst zwielokrotnia obciążenie KV-cache, co przy enkoderze wizyjnym z 1,6 mld parametrów oraz MoE z 1,05 bln parametrów decyduje o tym, czy się zmieści, czy nie.

Analiza progu rentowności, której nikt nie przeprowadza

Przyjmij cenę promocyjną jako punkt odniesienia, który hosting musi pobić: 0,68 USD za milion tokenów wejściowych i 2,09 USD za milion tokenów wyjściowych. Cztery B200 przy realistycznej stawce chmurowej — powiedzmy 8–12 USD za godzinę pracy GPU — to 32–48 USD za godzinę, czyli około 23 000–35 000 USD miesięcznie, nie wliczając pamięci masowej, sieci, pracy inżynierskiej i czasu potrzebnego na dostrojenie stosu serwującego.

Aby wyjść na zero przy takim miesięcznym koszcie w stosunku do 2,09 USD za milion tokenów wyjściowych, musiałbyś generować gdzieś powyżej jedenastu miliardów tokenów wyjściowych miesięcznie, co miesiąc, przy pełnym wykorzystaniu. To wolumen, którego praktycznie żaden zespół poza hiperskalerem tak naprawdę nie ma, a do tego pomija fakt, że pierwsze wdrożenie kosztuje dwa tygodnie pracy inżynierskiej.

Ujmując to inaczej: przy 100 milionach tokenów wyjściowych miesięcznie — dużej, ale realnej liczbie produkcyjnej — API kosztuje około 209 USD w promocji lub 418 USD według cennika, w porównaniu z rachunkiem za hosting rzędu dziesiątek tysięcy. W tej skali self-hosting nie jest rabatem. To zakup czegoś innego.

Czym jest to coś innego

Cztery rzeczy — i tylko one są jedynymi uczciwymi powodami, by pobrać 1,06 TB.

Lokalizacja danych. Wagi nigdy nie opuszczają Twojego perymetru. W przypadku obciążenia podlegającego regulacjom nie jest to preferencja, lecz wymóg, i żadna cena API nie może z tym konkurować.

Pewność licencji. Licencja Mistral's Ecosystem Open-Weight License zezwala na użytek komercyjny, modyfikację, dalsze trenowanie i utwory zależne, z jednym zastrzeżeniem: prowadzenie modelu jako usługi — przyznawanie stronom trzecim realnej kontroli nad danymi wejściowymi, parametrami lub danymi szkoleniowymi — wymaga odrębnej umowy komercyjnej. Funkcje osadzone, użytek wewnętrzny i samo przekazywanie są wyłączone spod tego wymogu. Posiadanie artefaktu oznacza, że warunki, na które wyrażono zgodę, są warunkami, które obowiązują.

Prawo do dostrajania. Wytrenowany przez Ciebie model pochodny jest Twój, a żadne hostowane API nie zaoferuje tego za żadną cenę.

Determinizm. Punkt kontrolny, który zweryfikowałeś, to ten sam punkt kontrolny, który uruchamiasz. Hostowany model można w każdej chwili przekierować na nową wersję pod tą samą nazwą; plik na Twoim dysku — nie.

To, czym żaden z tych czterech nie jest: tańszy w przeliczeniu na token. Powyższe obliczenia wykluczają to w przypadku każdego zespołu poniżej hiperskali, a plan oparty na oczekiwaniu oszczędności nie przetrwa pierwszej faktury.

Klauzula licencyjna, którą dostawca hostingu musi przeczytać dwa razy

Jeśli powodem, dla którego hostujesz samodzielnie, jest udostępnianie modelu klientom, klauzula 2 jest akapitem, który decyduje o Twojej sytuacji prawnej. Obliczenia na potrzeby własnych produktów są w porządku; platforma, która przekazuje klientom model i realną kontrolę nad danymi wejściowymi, parametrami lub treningiem, nie jest dozwolona na podstawie tej licencji bez odrębnej umowy. Wyjątek dotyczący „zwykłego przekazywania żądań do modeli hostowanych przez innych” jest wąski i znaczy dokładnie to, co mówi: przekazywanie żądań do cudzego punktu końcowego nie jest hostowaniem.

To rozróżnienie to jedyna rzecz na tej stronie, na którą cennik nie odpowie — i warto poświęcić na nią godzinę prawnika jeszcze przed zakupem GPU.

Kto powinien to pobrać?

Pobierz, jeśli regulator, umowa z klientem lub polityka klasyfikacji danych już udzieliły ci odpowiedzi. Pobierz, jeśli zamierzasz przeprowadzić fine-tuning i udostępnić wersję pochodną, ponieważ jest to możliwość, której API nie oferuje. Pobierz, jeśli dysponujesz mocami obliczeniowymi Blackwell, za które już zapłacono i które stoją bezczynnie — ścieżka NVFP4 na czterech B200 to jedyna konfiguracja, w której liczby zbliżają się do progu rentowności.

Pozostań przy API, jeśli pytanie dotyczyło ceny. Przy 0,68 USD i 2,09 USD w promocji albo 1,36 USD i 4,18 USD według cennika, wywołanie tego modelu jest jednym z najtańszych sposobów na rynku na uzyskanie odpowiedzi multimodalnej z modelu o bilionie parametrów — pod warunkiem, że traktujesz promocję jako ograniczony czasowo okno, a nie stałą stawkę. Mistral Large 4 nie znajduje się w katalogu OrcaRouter, więc ta ścieżka prowadzi przez własne API Mistrala i hosting zewnętrznych dostawców; ogólną formułą, którą oferujemy, jest jeden punkt końcowy zgodny z OpenAI obejmujący 224 modele w cenie katalogowej dostawców, bez marży, gdzie zmiana ceny przez dostawcę wchodzi w życie w dniu ogłoszenia, a nie przy kolejnym odnowieniu.