DeepSeek V4.1 Flash vs Kimi K3: czytanie twierdzenia, a następnie dowodów

DeepSeek V4.1 Flash pojawił się z konkretnym, możliwym do zweryfikowania twierdzeniem: że bije Kimi K3 w benchmarkach cyberbezpieczeństwa i kodowania — i w wierszach wybranych przez producenta rzeczywiście to robi. Terminal-Bench 2.1: 90,6 wobec 88,3. CyberGym: 88,1 wobec 80,0. DeepSWE v1.1: 74,2 wobec 67,5. NL2Repo-Bench: 65,4 wobec 58,0. Każdy z tych wyników DeepSeek pochodzi z własnego harnessu DeepSeek przy własnym poziomie wysiłku rozumowania DeepSeek, a każdy z porównywanych z nim wyników Kimi K3 pochodził z innego źródła. To nie jest powód, by odrzucać to twierdzenie. To jest powód, dla którego to twierdzenie trzeba rozłożyć na czynniki, zanim cokolwiek kupisz, opierając się na nim.

Oto jak faktycznie wyglądają bazy dowodowe obu modeli, co się dzieje, gdy umieści się je na jednej skali, oraz ta jedna liczba, która przetrwa każdą wersję tego porównania.

Dwie bazy dowodowe, które ledwo się pokrywają

To nietypowa część tego starcia i wyjaśnia większość nieporozumień, które znajdziesz w internecie.

DeepSeek opublikował tabelę benchmarków na premierę. Terminal-Bench 2.1, DeepSWE v1.1, CyberGym, ProgramBench, NL2Repo-Bench, Automation-Bench — wszystkie raportowane przez dostawcę. To wiersze, które DeepSeek zdecydował się uruchomić, na harnessach skonfigurowanych przez DeepSeek, przy poziomie wysiłku rozumowania ustawionym przez DeepSeek. Warto o tym wiedzieć, zanim zestawisz je z czymkolwiek: Artificial Analysis ustaliło, że uruchamianie tych zestawów przy maksymalnym wysiłku rozumowania zużywa około 2,5 raza więcej tokenów wyjściowych niż ustawienie średniego poziomu, odzyskując przy tym większość dokładności poniżej. Tabela dostawcy przy maksymalnym wysiłku to pomiar pułapu, a nie pomiar typowy.

Wyniki Kimi K3 w większości nie pochodzą od Moonshot. Artificial Analysis przeprowadziło własne testy i opublikowało wyniki poszczególnych benchmarków w skali porównywalnej dla każdego modelu, który śledzi: GPQA Diamond 93,5, Humanity's Last Exam 46,9, Long-Context Recall 88,7, SciCode 59,5, Terminal-Bench 2.1 85,0 — a także indeks zbiorczy. To pomiary strony trzeciej.

Zatem „DeepSeek bije Kimi K3 w kodowaniu” sprowadza się do czegoś węższego, niż to brzmi. W środowisku testowym DeepSeek model DeepSeek wygrywa w wierszach dotyczących kodowania, które DeepSeek wybrał. To prawdziwy sygnał — dostawcy zwykle nie publikują tabel, w których przegrywają — ale to inna klasa dowodów niż niezależnie przeprowadzony zestaw testów, i te dwa nie powinny nigdy pojawiać się w tej samej kolumnie bez etykiety.

Na jednej skali różnica wynosi cztery punkty.

Jeśli zestawić oba na Intelligence Index od Artificial Analysis, obraz jest ciaśniejszy, niż sugeruje marketing którejkolwiek ze stron. Kimi K3 uzyskuje wynik 44. DeepSeek V4.1 Flash uzyskuje 40.

Cztery punkty. W wierszach dla poszczególnych benchmarków przewaga Kimi K3 jest spójna i skupiona tam, gdzie ujawnia się rozumowanie na długim horyzoncie: Humanity's Last Exam 46,9 wobec 36,8, SciCode 59,5 wobec 51,9, GPQA Diamond 93,5 wobec 90,9 raportowanych przez producenta DeepSeek, Long-Context Recall 88,7 wobec 84,0. Kimi K3 zajmuje również drugie miejsce w rankingu Artificial Analysis obejmującym 113 modeli, wobec DeepSeek V4.1 Flash na szóstym miejscu.

To są prawdziwe, niezależne, powtarzalne luki. Żadna przewaga cenowa ich nie zamyka w przypadku zadania, które od nich zależy.

To także cztery punkty — ta sama czteropunktowa różnica, która dzieli DeepSeek V4.1 Flash od Grok 4.6, i mniejsza niż pięciopunktowa różnica dzieląca go od Qwen3.8-Max. Czteropunktowy rozrzut w indeksie złożonym to wąskie pasmo. Mówi ci, że Kimi K3 jest silniejszym modelem, ale nawet nie zaczyna mówić, że ta siła przekłada się na twoje obciążenie robocze.

Liczba, która przetrwa każdą wersję tego porównania

Koszt na zadanie w Intelligence Index, mierzony przez tę samą organizację, która opracowała ten indeks: 0,27 USD dla DeepSeek V4.1 Flash, 2,00 USD dla Kimi K3.

7,4x. To największa, najbardziej solidna i najbardziej poddająca się wzajemnej weryfikacji różnica między tymi dwoma modelami, a w odróżnieniu od wierszy benchmarków nie zależy od tego, czyj harness ją uruchomił — liczby tokenów to liczby tokenów.

Skaluje się to również wraz z tym, jak agentowe jest Twoje obciążenie. Kwota 2,00 USD pochodzi z mieszanego zestawu testów; na benchmarku kodowania agentowego Vals AI raportowana różnica rośnie do około 40x, 0,41 USD za zadanie w porównaniu z 17,59 USD, a przebieg DeepSeek kończy się w około 15 minut wobec około 90. Im bardziej oddalasz się od pojedynczego promptu i odpowiedzi w stronę długiej pętli wywołań narzędzi, tym bardziej rozchodzą się oba modele cenowe — ponieważ to tam buforowanie i wolumen danych wyjściowych w głównej mierze kształtują rachunek.

• Stawka — DeepSeek V4.1 Flash $0.15/$0.60 za 1 mln poza szczytem ($0.30/$1.20 w szczycie, dni robocze 01:00–04:00 i 06:00–10:00 UTC) vs Kimi K3 $3.00/$15.00 za 1 mln, stawka jednolita

• Zniżka na pamięć podręczną — 98% vs 90%; odczyt z pamięci podręcznej 0,003 USD za 1 mln vs 0,30 USD za 1 mln

• Kontekst — po 1 048 576 tokenów w obu przypadkach, a żaden z nich nie stosuje dopłaty za długi kontekst

• Przepustowość — 214,4 tokenów/s vs 34,7, 6,2-krotna różnica

• Gadatliwość — 250 mln tokenów wyjściowych w całym indeksie vs 160 mln

• Parametry — łącznie 552B, 8B aktywnych podczas prefill i 16B podczas decode, w porównaniu z łącznie 2,8T, gdzie 16 z 896 ekspertów jest aktywnych na token

• Próbkowanie — pełny zestaw parametrów temperature / top_p / seed w porównaniu z brakiem; Kimi K3 udostępnia tylko reasoning_effort, a myślenia nie można wyłączyć.

• Licencja — MIT vs zmodyfikowana MIT, która dodaje warunki dotyczące brandingu powyżej 100 mln miesięcznych użytkowników lub 20 mln USD miesięcznego przychodu

Gdzie tańsza strona jest naprawdę gorsza

Po stronie DeepSeek w księdze zapisane są dwa koszty, a oba łatwo przeoczyć.

Gadatliwość. DeepSeek V4.1 Flash wygenerował 250 mln tokenów wyjściowych w Intelligence Index, podczas gdy Kimi K3 wygenerował 160 mln. Tokeny wyjściowe są tu rozliczane po 4x stawce za dane wejściowe. Model, który jest dwadzieścia razy tańszy za token, ale mówi o połowę więcej, nie jest dwadzieścia razy tańszy — i właśnie dlatego uczciwa liczba zatrzymuje się na 7,4x, a nie na 20x, które sugeruje cennik. DeepSeek jest najbardziej gadatliwym modelem w tym porównaniu; Grok 4.6 jest najmniej gadatliwy, z 94 mln.

Szybkość. Cennik mówi, że DeepSeek jest tańszy. Zegar mówi, że jest też 6,2 razy szybszy — 214,4 tokenów/s w porównaniu z 34,7 w Kimi K3. Tryb myślenia Kimi K3 nie może zostać wyłączony, a jego wysiłek rozumowania domyślnie ustawiony jest na maksimum, więc nie ma taniej, szybkiej ścieżki awaryjnej dla łatwych wywołań. Kupujesz zaawansowane rozumowanie przy każdym żądaniu, niezależnie od tego, czy żądanie tego potrzebuje. W trudnym zadaniu programistycznym to jest produkt. Przy klasyfikacji to marnotrawstwo.

Co mówi ruch — czego nie uchwyci żaden benchmark

Nasze własne dane routingowe dodają ten jeden sygnał, którego nie może wytworzyć ani dostawca, ani analityk. W ciągu ostatnich siedmiu dni Kimi K3 przepuścił około 3,04 miliarda tokenów przez OrcaRouter. DeepSeek V4.1 Flash przepuścił około 59,1 miliarda — mniej więcej dziewiętnaście razy więcej — w modelu, który działa od niespełna tygodnia.

Część tego ma charakter strukturalny. DeepSeek kieruje wszystkie żądania V4 Pro do V4.1 Flash i rozlicza je według stawek Flash, dopóki V4.1 Pro nie zostanie wydany, więc duża baza użytkowników została przeniesiona na ten model, mimo że nikt niczego nie wybrał. Ale wynikający z tego wolumen to wciąż najwyraźniejszy dostępny dowód na to, że ogromna liczba obciążeń produkcyjnych była już obsługiwana wystarczająco dobrze przez tańszy model — a to jest werdykt, którego nie mogą ci dać benchmarki, ponieważ benchmarki mierzą, co model potrafi, a ruch mierzy, co zespoły były skłonne udostępnić płacącym użytkownikom.

Wybór między nimi

Oba działają za tym samym endpointem zgodnym z OpenAI na OrcaRouter, co sprawia, że podział jest rozwiązaniem praktycznym, a nie projektem migracyjnym: kieruj długoterminową sesję kodowania, w której przewaga Kimi K3 w rozumowaniu jest warta swojej ceny, do DeepSeek V4.1 Flash, a ruch związany z intensywną pracą agentową i pracą z wiedzą, gdzie oba modele mieszczą się w granicach czterech punktów indeksowych, również do DeepSeek V4.1 Flash. Ponieważ brama przekazuje stawkę dostawcy bez żadnej marży, koszt za token, który widzisz, jest kosztem samego dostawcy — warto sprawdzać go dwa razy dziennie po stronie DeepSeek, ponieważ jego okna szczytowe podwajają stawkę w poranki dni roboczych w UTC.

Werdykt wynika z dowodów, a nie z tabeli z premiery. Jeśli Twoja praca to jedno trudne wywołanie rozumowania — pytanie naukowe, nowy algorytm, dokument, na którego błędny odczyt nie możesz sobie pozwolić — Kimi K3 jest mocniejszym modelem, niezależne różnice są spójne, a cena ma drugorzędne znaczenie. Jeśli Twoja praca to agent kodujący, długa pętla wywołań narzędzi albo cokolwiek z dużym prefiksem w pamięci podręcznej odtwarzanym na dużą skalę, oba modele są na tyle zbliżone pod względem możliwości, że decydującym kryterium staje się koszt, a w tym przypadku różnica wynosi od 7,4x do około 40x w zależności od tego, jak bardzo zadanie ma charakter agentowy.

Własna tabela benchmarków DeepSeek przecenia, jak czyste jest to zwycięstwo. Cena nie.