Clef-Flash vs Qwen3-8B: 모두가 이미 돌리는 8B에 맞선 38밀리초

많은 팀이 Qwen3-8B에게 맡기는 구체적이고 화려하지 않은 작업이 하나 있습니다: 이 티켓, 이 로그 줄, 이 양식을 읽고 이것이 내 네 개의 버킷 중 어디에 속하는지 알려주세요. 이것은 대화로 포장된 분류 작업이며, Qwen3-8B는 이 작업을 충분히 잘해서 아무도 그것을 대체할 생각을 하지 않았습니다. 2026년 9월 30일, Cloudflare는 Cloudflare/clef-flash에 대한 가중치를 공개했습니다. 이는 그 한 가지 작업만 하고 다른 것은 하지 않도록 만들어진 9B 모델이며, 흥미로운 질문은 이것이 Qwen3-8B보다 더 똑똑한지가 아닙니다. 과연 현재 8B 범용 모델에서 얻고 있는 것이 생성된 토큰으로 지불할 가치가 있는지입니다.

Clef-Flash는 그 질문에 벤치마크가 아니라 구조로 답한다. 하나의 상태와 최대 64개의 타입 지정된 질문으로 이루어진 스키마를 받아, 단 한 번의 비자기회귀적 패스로 모든 허용 옵션에 대한 로짓을 반환한다 — 중간 텍스트도, 파싱도, 확률 외의 출력도 없다. Cloudflare가 측정한 중앙값 요청 지연 시간은 38.8ms였고, 벤치마크 비교 대상인 TypeSafe의 의사결정 모델 Jev는 약 500ms였다. Qwen3-8B는 그 표에 없는데, Qwen3-8B는 그런 게임을 하지 않기 때문이다. 그것은 답을 쓰고, 당신은 그것을 읽는다.

이 조합이 스펙 행 몇 줄이 아니라 본격적인 비교에 값할 만한 이유는, 두 모델이 공유하는 벤치마크가 전혀 없다는 점이다. 유통되는 모든 Clef-Flash 수치는 Cloudflare가 경쟁사가 공개한 지표를 가지고 산출한 것이며, Cloudflare 밖에서 이를 재현한 곳은 아무 데도 없다. Qwen3-8B는 그 뒤에 세 세대에 걸친 독립적 사용이 있고, 누구든 반박할 수 있는 공개 기록이 있다. 당신이 갈아탈지를 결정하게 해야 하는 것은 지연 시간 격차가 아니라 바로 이 비대칭성이다.

두 개의 출력 계약

여기서 파라미터 수는 주의를 흐트러뜨릴 만큼 비슷하다 — Clef-Flash의 9B 대 Qwen3-8B의 8.2B, 그중 6.95B는 비임베딩이다. 중요한 차이는 각 모델이 무엇을 출력하도록 허용되는가이다.

Qwen3-8B는 인과적 언어 모델입니다. 지원 티켓을 주면 토큰을 생성하며, 기본적으로는 사고 모드가 켜져 있어 끄지 않는 한 먼저 추론을 생성합니다. 분류하고, 설명하고, 에스컬레이션하고, 답변 초안을 작성하거나, 분류 체계에 케이스가 빠졌다고 알려줄 수 있습니다 — 이 모든 것을 스키마 없이 동일한 가중치로 해냅니다. 모델 카드에는 36개 레이어, 32개 쿼리 헤드 대 8개 KV 헤드의 그룹 쿼리 어텐션, 100개 이상의 언어, 그리고 기본적으로 32,768토큰의 컨텍스트 길이(YaRN을 통해 131,072까지 확장 가능)가 명시되어 있습니다. 대부분의 팀이 가장 먼저 선택하는 모델이며, 그 이유는 무엇이든 할 수 있는 모델이기 때문입니다.

Clef-Flash는 포스트 트레인 모델이지 대화 상대가 아니다. Cloudflare는 Qwen3.5-9B 백본을 — 비전 인코더까지 포함해 — 동결하고, 그 위에 결합 스키마 헤드를 훈련시켰다. 헤드 가중치는 243.5MB인 반면, 네 개로 샤딩된 백본 파일은 합쳐서 약 18.8GB에 이른다. 이 헤드는 백본의 최종 은닉 상태를 읽고, 그 상태에서 각 질문으로 증거를 라우팅하며, 모든 질문의 모든 선택지를 함께 채점한다. 제약이 곧 특징이다. Cloudflare는 이것이 확률만 출력하도록 제약하며, 그렇기 때문에 베이스 모델은 그 계보에는 등장하지만 출력에는 결코 등장하지 않는다.

그 계보가 누구의 것인지 주목하라. Clef-Flash는 Qwen3-8B가 속한 Qwen3 계열의 다음 세대인 Qwen3.5-9B에서 내려온다. 따라서 이것은 9B 파생 모델이 보통 갖는, 자기 자신의 베이스를 파인튜닝한 이야기가 아니다 — 같은 계보의 다른 가지이며, 다른 계약을 위해 재훈련된 것이다.

동일한 작업, 두 가지 방식으로 실행

두 모델 모두 지원 티켓을 라우팅할 수 있습니다. 두 모델은 서로 다른 방식으로 실패하며, 바로 그 실패 양상이 마이그레이션 비용을 좌우합니다.

Qwen3-8B의 경우, 작업은 프롬프트와 파서에 달려 있습니다. 범주를 설명하고 그중 하나를 돌려달라고 요청한 다음, 모델이 "청구처럼 보이지만 기술일 수도 있습니다"라고 반환하는 경우를 처리해야 합니다. 이는 다운스트림 코드가 처리할 수 없는 실제 모호성에 대한 진짜 답변입니다. 이 카드 자체의 지침은 효율성 작업에서는 사고 모드를 비활성화해야 하고, 그리디 디코딩은 출력을 저하시키며, 사고가 켜져 있을 때는 다중 턴 기록에서 추론 블록을 앞으로 이어가지 말아야 한다고 분명히 밝히고 있습니다. 그러한 지침 하나하나가 범용 모델이 여러분에게 강요하는 결정입니다.

Clef-Flash에서는 작업이 스키마로 넘어갑니다. 선택 질문의 경우 질문당 2~26개의 선택지를 선언하거나 점수 질문의 경우 2~26개의 레벨을 선언하면, 선택된 선택지와 모든 선택지에 대한 확률, 그리고 신뢰도를 돌려받습니다. 이 계약에는 헤드라인 지연 시간 수치보다 더 가치 있는 세부 사항이 세 가지 있습니다. 첫째, 신뢰도는 정확성이 아닙니다. Cloudflare 문서는 신뢰도가 확률이 얼마나 집중되어 있는지를 측정하는 것이지, 답이 맞을 가능성을 측정하는 것이 아니라고 분명히 밝히고 있습니다. 둘째, 동점은 선언한 선택지 순서에 따라 해소되므로, 두 선택지가 실제로 겹친다면 목록 순서를 정함으로써 이미 조용히 결정을 내린 셈입니다. 셋째, 그리고 이것이 가장 뼈아픈 부분인데, 직접 써 넣지 않았다면 "해당 없음" 선택지는 없습니다. 의사결정 모델은 자신에게 주어진 선택지에 점수를 매깁니다. 프라이버시 요청에 관한 티켓이 청구, 기술, 영업이라는 스키마를 받으면, 거부 대신 그 세 가지 중 가장 덜 나쁜 것을 돌려줍니다.

그 마지막 요점은 양날의 검이며, 이 비교의 정직한 핵심이다. Qwen3-8B는 당신의 분류 체계가 망가졌다고 말해 줄 것이다. Clef-Flash는 그러지 않을 것이고, 파이프라인에서는 그것이 진짜 회귀다 — 한 달 뒤에 잘못 라우팅된 큐에서 발견하게 되는 종류의 회귀다. 그 맞바꿈은 실제 지연 시간과 실제 결정성을, 당신이 미처 생각하지 못한 질문을 끌어낼 수 있는 모델과 바꾸는 것이다.

숫자가 말해주는 것과 말해주지 않는 것

Clef-Flash의 공개된 결과는 Cloudflare가 Jev Decision Index 0.2.1 스위트를 실행한 데서 나왔으며, 동일한 실행이 벤더의 블로그 게시물의 근거가 된다. 강세를 보이는 항목은 정확히 명시할 가치가 있다: BFCL case-exact 98.8, API-Bank 정확도 93.1, 가전제품 시뮬레이터 97.7, ContractNLI macro-F1 84.3, RouterBench 선정 품질 79.9. TypeSafe 자체 평가 스위트의 네 가지 엔드투엔드 비즈니스 워크플로에서 Clef-Flash는 고객 서비스에서 77.0으로 Jev의 76.0과 더 큰 27B Clef의 76.3을 앞서고, 인보이스 처리에서는 57.1로 Jev의 61.8과 Clef의 64.7에 뒤진다.

약한 항목들은 강한 항목들만큼이나 많은 정보를 준다. out-of-scope 처리를 포함한 CLINC150에서 Clef-Flash는 매크로-F1 66.8을 기록했고, 27B Clef는 97.4, Jev는 89.3이었다. 이는 모델이 언제 답변을 보류해야 하는지를 시험하는 바로 그 벤치마크 형태에서 나타난 30점 격차다. When2Call에서는 65.6으로 Jev의 81.0과 대비된다. GPQA Diamond는 51.0으로 78.3과 대비된다. POP909-CL은 1.6에 그치는데, 카드에서는 이 수치를 설명하지 않는다.

이제 표가 말해주지 않는 부분: Qwen3-8B는 그 어느 표에도 행이 없다.두 모델 모두 상대의 벤치마크로 점수가 매겨진 적이 없다. Clef-Flash 자체의 MMLU 수치 91.8과 GSM8K 67.3은 자사의 typed-decision 하네스를 통해 산출된 것으로, Qwen이 수치를 보고한 하네스와는 다르며, 이 둘을 비교하는 것은 비교로 위장한 범주 오류일 뿐이다. 따라서 정직한 입장은 공유된 스코어보드가 존재하지 않으며 이 글에서 그것을 만들어내지 않겠다는 것이다. 존재하는 것은 벤더가 자체 인프라에서 측정한 지연 격차, 구조적으로 다른 비용 구조, 그리고 Cloudflare 외부에서는 아무도 재현하지 못한 다수의 Decision Index 셀이다.

결정 하나의 대가

Cloudflare의 Workers AI 문서는 Clef-Flash를 다음 가격에 명시합니다: 백만 입력 토큰당 $0.09그리고 출력에는 아무 요금도 부과하지 않습니다. 출력이 사실상 없기 때문입니다 — 문서에 제시된 예시는 세 개의 질문으로 이루어진 요청에 대해 출력 토큰 세 개를 반환합니다. 따라서 1,500토큰 티켓에 대한 라우팅 결정은 입력에 약 $0.000135가 들고 그 뒤에는 측정 가능한 비용이 없습니다. 하루에 그런 요청을 백만 건 실행하면 대략 하루 $135가 되며, 이 숫자는 티켓이 더 복잡해져도 변하지 않고, 더 길어질 때만 변합니다.

자기회귀 모델에는 이에 상응하는 상한이 없습니다. 그 백만 번의 결정 각각은 생성된 토큰에 대한 요금도 청구하며, 사고 모드가 켜져 있으면 — Qwen3-8B에서는 기본적으로 켜져 있습니다 — 모델은 답하기 전에 비밀번호 재설정 이메일이 네 개의 버킷 중 어디에 속하는지 추론하는 데 수백 개의 토큰을 쓸 수 있습니다. enable_thinking=False 또는 /no_think 태그로 사고를 끄는 것은 해당 모델로 만든 모든 분류 프롬프트에서 가장 레버리지가 큰 한 줄이며, 빠뜨리기 쉽습니다. 이 비교는 "저렴한 모델 대 비싼 모델"이 아니라, 고정된 입력 전용 가격 대 모델이 얼마나 말할지 결정하는 양에 따라 달라지는 가격의 비교입니다.

맥락, 세 개의 벤더 표면에서 나온 세 개의 숫자

Clef-Flash의 사용 가능한 컨텍스트는 어떤 Cloudflare 표면을 보는지에 따라 달라집니다. Workers AI 모델 페이지에는 65,536토큰 컨텍스트 창이 문서화되어 있습니다. 공개된 config max_position_embeddings는 텍스트 타워의 경우 262,144입니다. 모델 카드 자체의 인코딩 도우미의 기본값은 max_length=16,384이며, max_state_tokens를 사용해 상태를 별도로 제한할 수 있습니다. 256K를 광고하는 타사 런타임 목록은 서빙 한도가 아니라 config 값을 읽는 것입니다 — 이는 그 불일치를 미스터리로 남겨두기보다 설명해 주지만, 호스팅된 엔드포인트를 호출하는 사람에게 실용적인 숫자는 65,536입니다.

Qwen3-8B의 수치는 독자적이며 1년 반 동안 안정적이었습니다: 네이티브 32,768, YaRN 활성화 시 131,072, 그리고 출력에 32,768을, 프롬프트에 8,192를 예약하는 구성 기본값 40,960입니다. 따라서 원시 윈도우가 결정적 요인이라면, 이 소형 자기회귀 모델은 호스팅된 결정 모델이 문서화한 것의 약 두 배까지 확장할 수 있습니다 — 반면 결정 모델은 그것을 훨씬 덜 필요로 합니다. 대화가 아니라 상태를 보내기 때문입니다.

누가 교체해야 하며, 누가 교체해서는 안 되는가

• Swap — 고정된 분류 체계, 3~26개의 목적지, 그리고 지원 큐, 트리아지 단계 또는 에이전트 게이트가 있는 상황에서, 0.5초의 생성 시간 대비 중앙값 38.8ms, p95 122.4ms는 파이프라인이 할 수 있는 일을 바꿉니다.

• 교체 — 현재 당신은 8B에서 산문을 파싱하고 있으며, 당신의 형식에 맞지 않는 50번에 한 번 나오는 답변을 처리하고 있습니다. 선언된 옵션에 대한 분포는 그 실패 클래스를 완전히 제거합니다.

• 교체하지 마세요 — 정답 집합을 미리 알 수 없거나, 모델이 자신이 모른다고 알려주어야 하는 경우입니다. Clef-Flash에는 기준에 보류 경로를 직접 만들어 넣지 않는 한 보류 경로가 없으며, 공개된 항목 중 가장 취약한 셀은 바로 범위 밖 사례입니다.

• 교체하지 마세요 — 작업 부하가 추론, 제약 없는 문서에서의 추출, 요약 또는 코드인 경우입니다. Clef-Flash는 문장을 쓸 수 없으므로, 문장을 기대하는 다운스트림은 Qwen3-8B를 유지합니다.

• 아직 교체하지 마세요 — 수치를 벤더가 아닌 다른 사람이 검증해야 합니다. Clef-Flash에 대한 독립적인 평가는 없으며, 그 점수를 산출한 스위트는 이 모델이 앞서는 모델의 벤더가 공개한 것입니다.

각각을 어디에서 실행할지

둘 다 Apache-2.0이므로 둘 다 직접 셀프 호스팅할 수 있고, 차지하는 공간은 서로 비슷하지 않습니다. bf16의 Qwen3-8B는 약 16 GB이며 양자화 빌드는 훨씬 작은 용량으로 실행됩니다 — Q4 빌드는 Ollama 라이브러리에서 5.2 GB인데, 여기서 qwen3:8b는 3,870만 다운로드와 40K 컨텍스트 윈도우를 기록합니다. Clef-Flash는 18.8 GB 백본 전체와 243.5 MB 헤드가 필요하며, 출시 며칠 만에 Ollama 라이브러리 페이지가 올라왔고 11 GB 양자화 태그와 아직 수백 건대에 머무는 공유 횟수를 보여줍니다. Ollama의 표는 엔드포인트의 65,536이 아니라 구성의 256K를 나타냅니다. 그 다운로드 비율은 어느 모델에 대한 판단도 아닙니다 — 한 페이지는 18개월째 올라와 있고 다른 페이지는 약 하루째입니다 — 하지만 각 모델 뒤에 얼마나 많은 운영 이력이 있는지를 보여주는 공정한 그림입니다.

호스팅 버전을 원한다면, Cloudflare는 위의 100만 건당 $0.09 요금으로 Workers AI에서 Clef-Flash를 실행하며, 가중치는 Hub에서도 다운로드할 수 있습니다. 두 모델 모두 Clef-Flash의 경우 Ollama의 /v1/systemone 엔드포인트(Ollama 0.35.1 이상)와, Qwen3의 경우 표준 generate 경로와 통신합니다. 따라서 교체는 아키텍처 변경이 아니라 클라이언트 변경입니다.

현재 두 모델 모두 저희 라우트가 아닙니다: OrcaRouter의 공개 카탈로그는 clef-flash와 Qwen3-8B 모두에 404를 반환하며, 여기 어떤 내용도 저희의 가용성 주장으로 읽혀서는 안 됩니다. 라우팅 계층이 실제로 바꾸는 것은 파이프라인의 생성 부분입니다. 의사결정 모델이 결국 에이전트를 게이팅하게 되더라도, 그 결정에 따라 행동하는 모델은 여전히 접근할 수 있어야 하며, 바로 그 지점에서 단일 API 키 뒤에 200개 이상의 모델을 제공하는 하나의 API가 자리를 차지합니다 — 공급자 정가가 0% 마크업으로 전달되어 벤더의 가격 인하가 같은 날 여기에 반영되고, 자동 페일오버 덕분에 한 공급자의 안 좋은 오후가 방금 재구축한 경로를 무너뜨리지 않습니다. Qwen 라인도 나아갔습니다: Qwen3.8-27B는 여기서 백만 토큰당 입력 $0.40, 출력 $4.21에 라우팅할 수 있으며, 262,144 토큰 윈도우를 갖추고 있습니다. 이는 Qwen3-8B와 다른 모델이고 그 대체품은 아니지만, 한 세대 위의 같은 패밀리입니다.

무엇이 이 읽기를 바꿀까요?

세 가지, 순서대로.

범위 밖(out-of-scope) 셀에 대한 독립 실행. appliance simulation에서 Clef-Flash의 97.7과 CLINC150+OOS에서의 66.8 사이의 격차는 매끄럽게 유능한 분류기를 보여 주는 것이 아니다. 그것은 훈련된 형태 안에서는 강하지만, 정답이 '이 중 어느 것도 아님'일 때는 약한 모델을 보여 준다. 그게 다른 사람의 하네스에서도 성립한다면, 그것은 그 모델에 관한 가장 중요한 운영상 사실이며, 어느 누구의 하이라이트 목록에도 없다.

Cloudflare 엣지 외부에서 측정된 지연 시간 수치다. 38.8ms 중앙값은 인상적이며, 이는 벤더가 자사가 통제하는 인프라에서, 엣지에 호스팅된 모델을 대상으로 측정한 값이다. Jev에 대한 순위 비교는 아마도 견고하겠지만, 신뢰해서는 안 되는 것은 절대 수치다.

그리고 공유 벤치마크. 누군가가 동일한 분류 작업에서 동일한 레이블로 Clef-Flash와 소규모 오픈 LLM에 점수를 매기기 전까지는, 둘 사이의 선택은 출력 계약, 가격 구조, 그리고 당신이 기꺼이 행동에 옮기려는 증거가 누구의 것인지에 달려 있다. 이 세 가지는 오늘날 많은 파이프라인을 결정하기에 충분하다 — 하지만 그것들은 정확도 비교가 아니며, 이 글은 그것들이 그렇다고 가장하지 않을 것이다.