API Mistral Large 4: Chat, Agents, Batch oraz endpointy, które pomija większość poradników, ilustracja 1 z 4.
Guides & Insights

API Mistral Large 4: czat, agenci, batch oraz endpointy, które pomija większość poradników

Autor

Rowan Sterling

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Większość omówień nowego modelu kończy się na uzupełnianiu czatu. Własna dokumentacja Mistrala dla Mistral Large 4 wymienia cztery obszary produktowe — czat, agentów i konwersacje, przetwarzanie wsadowe oraz wbudowane narzędzia — a strona z cennikiem dodaje drugą oś, której prawie nikt nie używa: standardowe, wsadowe i priorytetowe poziomy wnioskowania, plus przełącznik wnioskowania regionalnego. Wiedza o tym, na którym z nich się znajdujesz, jest warta więcej niż znajomość wyniku benchmarku modelu.

Mistral Large 4's API: Chat, Agents, Batch and the Endpoints Most Guides Skip, image 2 of 4.

Powierzchnie, tak jak dokumentuje je Mistral

• Chat Completions — code>/v1/chat/completions/code>. Punkt końcowy w formacie OpenAI, w którym jako funkcje wymieniono ustrukturyzowane dane wyjściowe, wywoływanie funkcji, dopełnianie prefiksu oraz QnA dokumentów.

• Agenci i rozmowy — code>/v1/agents/code> oraz code>/v1/conversations/code>. Stan po stronie serwera zamiast składania wiadomości po stronie klienta: przechowujesz rozmowę po stronie Mistrala i odwołujesz się do niej, co eliminuje wzorzec „wyślij ponownie całą historię”, który dominuje w rachunkach za tokeny wejściowe.

• Batch — code>/v1/batch/code>. Asynchroniczne zgłaszanie zadań, rozliczane według warstwy wsadowej, a nie standardowej.

• Narzędzia wbudowane — model wywołuje własny zestaw narzędzi Mistrala, a nie Twój.

Te cztery nie są tym samym produktem pod różnymi URL-ami. Warstwa Agents zmienia Twoją strukturę kosztów — jeśli rozmowy są przechowywane po stronie serwera, część wejściowa rachunku przestaje skalować się wraz z długością historii. Warstwa batch zmienia Twój poziom cenowy. Obie są udokumentowane i obie łatwo przeoczyć, ponieważ każdy samouczek zaczyna się i kończy na chat completions.

Mistral Large 4's API: Chat, Agents, Batch and the Endpoints Most Guides Skip, image 3 of 4.

Oś poziomów, której nikt nie wycenia

Strona cennika API Mistrala zawiera wiersz filtrów — Standard, Batch, Priority — nad siatką modeli oraz osobny przełącznik dla wnioskowania regionalnego i osobny dla waluty. Oznacza to, że karta $1.36/$0.14/$4.18 dotyczy warstwy Standard. Batch to inna liczba. Priority to znowu inna liczba, a żadna z nich nie jest pokazywana w domyślnym widoku, który większość kupujących uwiecznia na zrzucie ekranu.

Zanim porównasz cenę Mistral Large 4 z czymkolwiek, upewnij się, do którego poziomu należy odczytana liczba. Praktyczna asymetria: obciążenie wsadowe, które trafia do poziomu standardowego, płaci cenę detaliczną za możliwość, która w cenniku jest już objęta rabatem.

Mistral Large 4's API: Chat, Agents, Batch and the Endpoints Most Guides Skip, image 4 of 4.

Jaki jest model stojący za endpointami

1,05 bln parametrów, z czego 52 mld aktywnych według specyfikacji Mistrala, na ziarnistej rzadkiej mieszance ekspertów (mixture-of-experts) ze 128 ekspertami routowanymi i czterema aktywnymi na token; enkoder wizyjny z 1,6 mld parametrów; wejście tekstowe i obrazowe, wyjście tekstowe; rozumowanie i tekst jako klasa. Kontekst: 1 mln skonfigurowany, 524 288 zmierzone w testowanej konfiguracji. Wagi są publiczne na licencji Mistral Ecosystem Open-Weight License, 1 060,6 GB w bf16 oraz wariant NVFP4 o rozmiarze 610,1 GB.

Jedna konsekwencja tej licencji zasługuje na wzmiankę w każdym planie integracji: klauzula 2 zastrzega „Model as a Service” — udostępnianie osobom trzecim dostępu do modelu z realną kontrolą nad danymi wejściowymi, parametrami lub danymi treningowymi — dla odrębnej umowy komercyjnej. Osadzona funkcja, wdrożenie wewnętrzne oraz samo przekazywanie do cudzego punktu końcowego są wyłączone. Wywoływanie API nie jest tym objęte; odsprzedaż surowego dostępu przez własne API — już tak.

Kolejność integracji, która pozwala zaoszczędzić pieniądze

• Najpierw wybierz powierzchnię. Jeśli Twój produkt prowadzi rozmowy, używaj punktów końcowych agents/conversations i przestaj wysyłać historię za każdym razem; to pozycja dotycząca tokenów wejściowych, a cena wejściowa tego modelu wynosi 1,36 USD za milion.

• Wybierz poziom jako drugi.Wszystko, co asynchroniczne, trafia do poziomu batch, a strona z cennikiem pokaże Ci różnicę, gdy przełączysz filtr.

• Zmierz trzeci limit kontekstu. 524 288 zmierzone, a nie deklarowane 1M — wyślij jedno zbyt duże żądanie do hosta i odczytaj błąd.

• Buforowanie dodaj na końcu. $0.14 za wejście z cache w porównaniu z $1.36 w standardzie to pojedyncza największa dźwignia na rachunku w stanie ustalonym — pod warunkiem że Twój prefiks jest stabilny. Znacznik czasu na początku monitu systemowego zamienia go w wywołanie w pełnej cenie.

Mistral Large 4 nie znajduje się w katalogu OrcaRouter, więc nie jest to trasa, którą możemy zaoferować — można ją wywoływać przez własne API Mistrala i hostingi zewnętrzne. Ogólna forma, którą oferujemy, to jeden endpoint zgodny z OpenAI obejmujący 224 modele, z cenami listowymi dostawców przekazywanymi przy 0% narzutu, gdzie zmiany poziomu i cen danego dostawcy wchodzą w życie w dniu ich ogłoszenia, a nie przy kolejnym odnowieniu.