DeepSeek V4.1 Flash vs Kimi K3: 주장을 읽고, 그다음 증거를 읽기

DeepSeek V4.1 Flash가 구체적이고 검증 가능한 주장을 내걸고 등장했다: 그것이 Kimi K3를 사이버 및 코딩 벤치마크에서 앞선다는 주장이다 — 그리고 벤더가 선택한 항목에서는 실제로 그렇다. Terminal-Bench 2.1: 90.6 대 88.3. CyberGym: 88.1 대 80.0. DeepSWE v1.1: 74.2 대 67.5. NL2Repo-Bench: 65.4 대 58.0. 그 DeepSeek 수치들은 모두 DeepSeek 자체 하네스에서 DeepSeek 자체의 추론 강도로 측정된 것이며, 그와 비교된 Kimi K3 수치들은 모두 다른 곳에서 나온 것이다. 그것은 그 주장을 일축할 이유가 아니다. 오히려 그것을 근거로 무엇인가를 사기 전에 그 주장을 면밀히 뜯어보아야 하는 이유다.

여기에는 두 모델의 증거 기반이 실제로 어떤 모습인지, 그것들을 하나의 척도에 올려놓으면 무슨 일이 일어나는지, 그리고 이 비교의 모든 버전에서 살아남는 단 하나의 숫자가 있습니다.

거의 겹치지 않는 두 개의 증거 기반

이것이 이 대결에서 특이한 부분이며, 온라인에서 보게 되는 대부분의 이견을 설명해 줍니다.

DeepSeek이 출시 벤치마크 표를 공개했습니다. Terminal-Bench 2.1, DeepSWE v1.1, CyberGym, ProgramBench, NL2Repo-Bench, Automation-Bench — 모두 벤더가 보고한 수치입니다. 이들은 DeepSeek이 실행하기로 선택한 행들이며, DeepSeek이 구성한 하네스에서, DeepSeek이 추론 노력(reasoning effort)을 설정한 결과입니다. 이 수치들을 다른 무엇과 비교하기 전에 알아둘 만한 점이 있습니다: Artificial Analysis에 따르면 이러한 스위트를 최대 추론 노력으로 실행하면 중간 수준 설정보다 출력 토큰을 약 2.5배 더 소비하면서도 그 아래 구간의 정확도 대부분을 회복합니다. 최대 노력에서의 벤더 표는 일반적인 측정치가 아니라 상한선 측정치입니다.

Kimi K3의 수치는 대부분 Moonshot의 것이 아니다. Artificial Analysis는 자체 평가 하네스를 돌려 추적하는 모든 모델에서 비교 가능한 척도로 벤치마크별 결과를 공개했다: GPQA Diamond 93.5, Humanity's Last Exam 46.9, Long-Context Recall 88.7, SciCode 59.5, Terminal-Bench 2.1 85.0 — 그리고 종합 지수까지. 이것들은 제3자의 측정치다.

그래서 "DeepSeek가 코딩에서 Kimi K3를 이긴다"는 말은 들리는 것보다 더 좁은 의미로 귀결된다. DeepSeek의 하네스에서 DeepSeek의 모델은 DeepSeek가 선택한 코딩 행에서 이긴다. 그것은 실제 신호다 — 공급업체들은 보통 자신이 지는 표를 공개하지 않는다 — 그러나 그것은 독립적으로 실행된 스위트와는 다른 종류의 증거이며, 둘은 라벨 없이 같은 열에 함께 나타나서는 안 된다.

한 척도에서는 격차가 4점입니다.

두 모델을 모두 Artificial Analysis의 Intelligence Index에 올려놓고 보면, 그 양상은 어느 쪽 마케팅이 시사하는 것보다 더 팽팽하다. Kimi K3는 44점, DeepSeek V4.1 Flash는 40점을 기록한다.

네 가지 포인트. 벤치마크별 행에서 Kimi K3의 우위는 일관되며, 장기 호라이즌 추론이 드러나는 곳에 집중되어 있다: Humanity's Last Exam 46.9 대 36.8, SciCode 59.5 대 51.9, GPQA Diamond 93.5 대 DeepSeek가 자체 보고한 90.9, Long-Context Recall 88.7 대 84.0. Kimi K3는 또한 Artificial Analysis의 113개 모델 리더보드에서 2위를 차지했으며, DeepSeek V4.1 Flash는 6위에 올랐다.

그것들은 실재하며 독립적이고 재현 가능한 격차입니다. 그 격차에 의존하는 작업이라면 어떤 가격 우위로도 메울 수 없습니다.

이들은 또한 4점 차이다 — DeepSeek V4.1 Flash와 Grok 4.6을 가르는 동일한 4점 격차이며, Qwen3.8-Max와의 5점 격차보다 작다. 종합 지수에서 4점 차이는 좁은 범위다. 그것은 Kimi K3가 더 강한 모델이라는 것을 알려주지만, 그 강점이 당신의 워크로드에서 나타난다는 것을 말해주기 시작하지도 않는다.

이 비교의 모든 버전에서 살아남는 숫자

인텔리전스 인덱스 태스크당 비용, 해당 지수를 산출한 동일 기관 측정 기준: DeepSeek V4.1 Flash는 $0.27, Kimi K3는 $2.00.

7.4x. 이것은 이 두 모델 사이에서 가장 크고, 가장 견고하며, 가장 교차 검증 가능한 차이입니다. 그리고 벤치마크 행들과 달리, 누구의 하네스가 실행했는지에 의존하지 않습니다 — 토큰 수는 토큰 수일 뿐입니다.

이는 또한 워크로드가 얼마나 에이전트형인지에 따라 달라집니다. $2.00이라는 수치는 혼합 스위트에서 나온 것입니다. Vals AI의 에이전트 코딩 벤치에서는 보고된 격차가 약 40배로 벌어지는데, 작업당 $0.41 대 $17.59이며, DeepSeek 실행은 약 15분 만에 끝난 반면 약 90분이 걸렸습니다. 단일 프롬프트와 응답에서 멀어져 긴 도구 호출 루프로 갈수록 두 가격 모델은 더 크게 갈라집니다 — 바로 그 지점에서 캐싱과 출력량이 청구서를 좌우하기 때문입니다.

• 요금 — DeepSeek V4.1 Flash 100만 토큰당 비수기 $0.15/$0.60 (피크 $0.30/$1.20, 평일 01:00–04:00 및 06:00–10:00 UTC) vs Kimi K3 100만 토큰당 $3.00/$15.00, 고정

• 캐시 할인 — 98% vs 90%; 캐시 읽기 $0.003/1M vs $0.30/1M

• 컨텍스트 — 둘 다 1,048,576 토큰이며, 어느 쪽도 롱 컨텍스트 할증을 적용하지 않습니다

• 처리량 — 초당 214.4 토큰 대 34.7, 6.2배 차이

• 장황함 — 인덱스 전반에 걸쳐 250M 출력 토큰 vs 160M

• 매개변수 — 총 552B, 프리필 시 8B 활성, 디코드 시 16B 활성, 토큰당 896개 전문가 중 16개가 활성인 총 2.8T와 대비

• 샘플링 — 전체 temperature / top_p / seed 노출 vs 없음; Kimi K3는 reasoning_effort만 노출하며 thinking은 비활성화할 수 없음

• 라이선스 — MIT vs 수정 MIT(월간 사용자 1억 명 또는 월 매출 2,000만 달러 초과 시 브랜딩 조건 추가)

저렴한 쪽이 진정으로 더 나쁜 경우

DeepSeek 쪽 장부에는 두 가지 비용이 있는데, 둘 다 놓치기 쉽다.

장황함. DeepSeek V4.1 Flash는 Intelligence Index 전반에 걸쳐 250M개의 출력 토큰을 생성했으며, 이는 Kimi K3의 160M과 대비됩니다. 여기서 출력은 입력의 4배로 청구됩니다. 토큰당 20배 더 저렴하지만 1.5배 더 많이 말하는 모델은 20배 더 저렴한 것이 아닙니다 — 바로 이것이 정직한 수치가 요금표가 시사하는 20x가 아니라 7.4x에 안착하는 이유입니다. DeepSeek은 이 비교에서 가장 장황한 모델이고, Grok 4.6은 94M으로 가장 덜 장황합니다.

속도. 요금표는 DeepSeek가 더 저렴하다고 말한다. 시계는 6.2배 더 빠르다고도 말한다 — 초당 214.4 토큰 대 Kimi K3의 34.7이다. Kimi K3의 사고 모드는 끌 수 없고 추론 노력은 기본값이 최대라서, 쉬운 호출을 위해 물러설 저렴하고 빠른 경로가 없다. 요청이 그것을 필요로 하든 아니든 모든 요청에서 최전선 추론을 사게 된다. 어려운 코딩 작업에서는 그것이 제품이다. 분류 작업에서는 낭비다.

트래픽이 말해 주는 것, 그 어떤 벤치마크도 포착하지 못하는

우리 자체 라우팅 데이터는 공급업체도 분석가도 만들어낼 수 없는 단 하나의 신호를 더해줍니다. 지난 7일 동안 Kimi K3는 OrcaRouter를 통해 약 30억 4천만 개의 토큰을 이동시켰습니다. DeepSeek V4.1 Flash는 약 591억 개를 이동시켰습니다. 이는 출시된 지 일주일도 채 되지 않은 모델에서 나온, 대략 19배에 달하는 양입니다.

그중 일부는 구조적인 문제다. DeepSeek는 V4.1 Pro가 출시될 때까지 모든 V4 Pro 요청을 V4.1 Flash로 라우팅하고 Flash 요금으로 청구하고 있다. 그래서 아무도 선택하지 않았는데도 거대한 기존 사용자 기반이 V4.1 Flash로 이전되었다. 그러나 그로 인해 발생한 트래픽 규모는, 엄청난 수의 프로덕션 워크로드가 이미 더 저렴한 모델로 충분히 잘 처리되고 있었다는 가장 명확하게 입수 가능한 증거로 남아 있다 — 그리고 그것은 벤치마크가 내려줄 수 없는 판정이다. 왜냐하면 벤치마크는 모델이 무엇을 할 수 있는지를 측정하지만, 트래픽은 팀이 유료 사용자 앞에 내놓을 의향이 있었던 것이 무엇인지를 측정하기 때문이다.

그것들 중에서 선택하기

둘 다 OrcaRouter의 동일한 OpenAI 호환 엔드포인트 뒤에 있으며, 이것이 바로 분할을 마이그레이션 프로젝트가 아니라 실용적인 선택으로 만듭니다: Kimi K3의 추론 우위에 비용을 지불할 가치가 있는 장기 지평 코딩 세션을, 그리고 두 모델이 4 인덱스 포인트 이내에 있는 대량의 에이전트 및 지식 노동 트래픽을 DeepSeek V4.1 Flash로 라우팅하세요. 게이트웨이가 제공업체 요금을 마크업 없이 그대로 전달하므로, 보이는 토큰당 비용은 공급업체 자체의 요금입니다 — DeepSeek 쪽에서는 하루에 두 번 확인할 가치가 있는데, 피크 시간대에는 UTC 기준 평일 아침에 요금이 두 배가 되기 때문입니다.

판단은 출시 표가 아니라 증거를 따릅니다. 당신의 작업이 한 번의 어려운 추론 호출 — 과학적 질문, 새로운 알고리즘, 잘못 읽으면 안 되는 문서 — 이라면 Kimi K3가 더 강한 모델이고, 독립적인 격차는 일관되며, 가격은 부차적입니다. 당신의 작업이 코딩 에이전트, 긴 도구 호출 루프, 또는 대량으로 재생되는 큰 캐시 접두사가 있는 무엇이든 간에, 두 모델은 능력 면에서 충분히 비슷해서 비용이 결정적 기준이 되며, 여기서 격차는 작업이 얼마나 에이전트적인지에 따라 7.4배에서 대략 40배까지 벌어집니다.

딥시크 자체의 벤치마크 표는 그 승리가 얼마나 깔끔한지를 과장한다. 가격은 그렇지 않다.