Beam 1.0 vs Clef Flash: 하나는 코드를 작성하고, 다른 하나는 문장 하나도 쓰지 못한다

나란히 놓고 보면Beam 1.0과 Clef Flash, 그 비교는 터무니없어 보인다 — 그것이 실제로 무엇에 관한 것인지 알아차리기 전까지는. Beam 1.0은 Reflection의 5,013억 파라미터 전문가 혼합 모델로, 2026년 10월 16일 Apache 2.0 가중치로 공개되었으며 코딩, 추론, 장기 지평의 에이전트 작업을 위해 만들어졌다; 텍스트를 읽고 텍스트를 쓴다. Cloudflare의 Clef Flash는 텍스트 출력 경로가 전혀 없는 90억 파라미터 모델이다 — 성능이 저하된 경로가 아니라, 아예 없다. 이 모델은 상태와 타입이 지정된 질문들의 스키마를 받아 허용된 모든 답변에 대한 확률을 반환한다. 이 둘을 벤치마크 점수로 서로 겨루게 순위를 매기는 모든 페이지는 둘 다를 오해한 것이다. 유용한 질문은 각자가 파이프라인에서 어떤 슬롯을 차지하는가이다. 왜냐하면 잘 구축된 시스템에서 이들은 경쟁자가 아니라 인접한 단계이기 때문이다.

그 인접성은 정확히 이해할 가치가 있다. 왜냐하면 그것은 어떤 단일 모델 벤치마크도 드러내지 못하는 한 종류의 프로덕션 실패를 설명하기 때문이다: 당신이 가진 유일한 것이라서 채팅 모델에 갖다 붙인 파서, 그리고 당신의 스키마에 맞지 않았던 백 개 중 쉰한 번째 답변.

각 모델이 실제로 반환하는 것

출력 형태부터 시작하세요. 다른 모든 것은 그것에서 따라오기 때문입니다.

• Beam 1.0 — 자유 형식 텍스트, 필수 추론 지원. 지원되는 effort는 low, medium, high, xhigh, max이며 기본값은 max이므로, 기본 구성이 가장 오래 생각합니다. 추론, 도구 호출, 구조화된 출력이 모두 지원되며, 구조화된 출력과 JSON 스키마의 조합이 Beam이 제약된 반환에 가장 근접하는 방식입니다.

• Clef Flash — 선언된 답변 집합에 대한 분포. Cloudflare의 문서는 허용된 각 선택지에 점수를 매기는 순전파를 설명한다; 생성 단계가 없고 따라서 파싱 단계도 없다. 공급업체 자신의 설명에 따르면 이것은 의사결정 모델이며, 이번 릴리스의 두 번째 제품은 그런 모델을 더 많이 만들기 위한 강화학습 파인튜닝 플랫폼이었다.

실질적인 차이는 입력이 범위를 벗어났을 때 벌어지는 일에 있습니다. 자신의 역량 밖에 있는 것을 질문받은 텍스트 모델은 확신에 찬 문장을 만들어내고, 여러분의 시스템은 이를 알아차려야 합니다. Clef Flash는 여러분이 제시한 선택지들에 걸쳐 합이 1이 되는 확률을 내놓는데, 이는 범위를 벗어난 입력이 그럴듯한 문장이 아니라 평평한 분포로 나타난다는 뜻입니다 — 물론 여러분이 그에 대한 임계값을 구축해 두었다면 말이죠. 그런데 공급업체는 그 임계값을 제공하지 않습니다. Cloudflare가 직접 공개한 표에서는 이 경우가 해당 모델의 가장 취약한 칸으로 나타납니다.

평가들은 서로 겹치지 않으며, 그것이 바로 이번 결과입니다.

Clef Flash의 점수는 Jev Decision Index와 결정별 스위트 세트에서 나오며, 이들은 모두 Cloudflare가 실행하고, 여러 개는 경쟁사의 자체 벤치마크를 대상으로 실행됩니다 — Jev는 TypeSafe가 발행하며, TypeSafe는 Clef Flash가 견주어 측정되는 모델의 공급업체입니다. 그 스위트에서 수치는 강력합니다: BFCL case-exact 98.8, API-Bank 93.1, 가정용 가전 시뮬레이션 97.7, ContractNLI macro-F1 84.3, RouterBench 79.9. Clef Flash는 BFCL, API-Bank, 그리고 가전 스위트에서 더 큰 27B Clef를 앞서며, 마지막에서는 14점 차로 앞섭니다. 이 중 어느 것도 독립적으로 재현되지 않았습니다.

Beam의 평가 체계는 성격 자체가 다르다. Reflection의 모델 카드는 에이전트 및 소프트웨어 엔지니어링 벤치마크를 보고한다 — BF16 체크포인트 기준 SWEBench Verified 81.6, Terminal Bench v2.1 80.1, DeepSWE v1.1 43.3, GPQA Diamond 90.6 — 모두 벤더가 보고한 수치다. 유일하게 외부에서 나온 수치는 Artificial Analysis로, 이곳에서는 Beam 1.0을 인텔리전스 지수 30으로 기재하며, 지수 버전 v4.3.2에서 120개 모델 중 19위로 올려놓고, 해당 모델에 대해 여전히 "공개적으로 사용 가능한 API 없음"으로 보고 있기 때문에 가격도 속도도 기록하지 않는다. Clef Flash의 항목에는 인텔리전스 지수에 대응하는 것이 없고, Beam의 항목에는 사례별 정확도 라우터 점수에 대응하는 것이 없다. 이 둘은 같은 축 위에 있지 않다.

비교할 수 있는 것은 비용 구조이며, 여기서 두 제품은 양극단에 있습니다. Cloudflare는 Workers AI에서 Clef Flash를 호스팅하며 입력 토큰 100만 개당 $0.038이고 출력 토큰은 0으로 청구됩니다. 출력 토큰이 없기 때문입니다. 이는 더 큰 27B Clef에 대해 같은 요금표가 부과하는 $0.24의 약 6분의 1이며, 동일한 요청 형태에 응답하는 의사 결정 모델에 대해 우리가 부과하는 $0.042보다 약간 낮습니다. Beam 1.0은 100만 토큰당 가격이 전혀 공개되어 있지 않습니다. Reflection의 문서에는 전체 속도 제한 페이지만 있고 요금표는 없습니다. 자체 호스팅이 유일한 유료 경로이며, NVIDIA B300 GPU 4개로 시작합니다.

각각이 실제 시스템에서 어디에 속하는지

솔직히 말하면, Clef Flash는 당신이 아마도 서투르게 처리하고 있는 단계를 대체하고, Beam 1.0은 당신이 아마도 많은 비용을 들여 처리하고 있는 단계를 대체합니다.

Clef Flash의 타깃은 에이전트 루프 내부의 분류, 라우팅, 게이팅, 트리아지입니다. 즉, 올바른 출력이 알려진 레이블 집합 중 하나이고 형식이 잘못된 응답의 대가가 다운스트림 예외로 이어지는 모든 곳입니다. 공개된 지연 시간 프로필(대략 중앙값 38.8ms, p95에서 122.4ms)이 바로 여기서 중요한 부분인데, 이는 텍스트 모델의 첫 토큰까지 걸리는 시간(time-to-first-token)이 통하지 않는 영역에서 측정되기 때문입니다.

Beam 1.0의 목표는 작업 그 자체입니다: GitHub 이슈 해결, CLI에서의 작업, 다단계 도구 워크플로 실행. Reflection이 내세우는 논점은 최고 성능이 아니라 토큰 효율성입니다 — 모델 카드는 추론 시점 추론 토큰을 대략 3분의 1로 줄이면서도 선도적인 오픈 모델에 필적하는 해결 품질을 주장하며, 이를 가장 강력하게 뒷받침하는 것은 Artificial Analysis가 Intelligence Index 전반에서 Beam에 대해 1억 3천만 중앙값 대비 7,900만 출력 토큰을 기록한 점, 즉 해당 지표에서 46개 중 10위라는 사실입니다. 모든 턴이 이전 대화를 재생하는 긴 에이전트 실행에서는 바로 그 항목이 누적되어 커집니다.

둘 다 우리 카탈로그에는 없으며, 그렇지 않은 것처럼 암시할 생각도 없습니다. Clef Flash는 Cloudflare 자체 엣지 GPU에서 실행되고 Apache-2.0 가중치는 직접 셀프 호스팅할 수 있습니다. Beam 1.0의 가중치는 Apache 2.0 라이선스로 Hugging Face에 공개되어 있으며, 공개된 가격이 없는 자체 API를 제공합니다.

둘 다 접근 가능하게 유지하는 이유

게이트에서 결정 모델을 사용하고 그 뒤에 추론 모델을 두는 파이프라인은 둘 다에 단일 채팅 모델을 사용하는 것보다 엄격히 더 나은 아키텍처다. 그리고 그렇게 구축하는 비용은 두 번째 의존성의 운영 비용이다 — 두 번째 계약, 두 번째 키 세트, 두 번째 실패 모드. 라우터가 제거하는 부분은 바로 그 부분이지, 모델 부분이 아니다.

시스템의 게이트 단계가 Clef Flash가 설명하는 것이라면, 가장 가까운 이미 라우팅된 동등 모델은 TypeSafe의 Jev 1.13입니다 — Cloudflare가 벤치마크 대응 모델로 선택한 모델이며, Clef Flash의 요청 형태와 API 호환되며, 우리 카탈로그에서 입력 토큰 백만 개당 $0.042, 출력은 0으로 청구되며 컨텍스트는 65,536토큰입니다.

게이트 뒤의 추론 단계를 위해, 저희 카탈로그에는 Beam이 견주어지는 모델들이 있습니다: GLM-5.2는 백만 토큰당 $1.40 및 $4.40, 1,000,000토큰 윈도우, Kimi K3는 $3.00 및 $15.00에 1,048,576, 그리고 Qwen3.8-Max는 $2.00 및 $6.00입니다. OpenAI 호환 키 하나로 이 모두를 이용할 수 있고, 제공사 정가가 아무것도 더해지지 않은 채 그대로 전달되며, 자동 페일오버 덕분에 한 제공사가 잠깐 문제를 겪었다고 해서 게이트 단계가 멈추는 일은 없습니다.

어느 한쪽으로 확정하지 않고 두 단계를 서로 다른 모델에 유지할 수도 있습니다: 스키마 분류 트래픽을 의사 결정 엔드포인트로 보내고 자유 텍스트 작업을 추론 모델로 보내는 라우팅 규칙은 라우팅 DSL의 일반적인 사례이며, 이는 의사 결정 단계의 정확도와 추론 단계의 비용을 한 모델의 매개변수 수 안에서 트레이드오프를 하는 대신 독립적으로 조정할 수 있음을 의미합니다.

당신이 실제로 사려고 하는 것은 어느 쪽인가요?

당신의 에이전트가 가끔 파서가 거부하는 JSON 덩어리를 내보내서 여기에 왔다면, 당신에게 필요한 것은 5010억 개 매개변수 모델이 아닙니다. 필요한 것은 의사결정 모델이며, 물어야 할 질문은 당신의 답변 집합이 진정으로 열거 가능한지, 그리고 당신의 기권 정책은 무엇인지입니다 — Clef Flash는 거부가 아니라 확률을 제공하기 때문입니다.

코딩 에이전트의 청구서 대부분이 보이지 않는 추론 토큰으로 채워져 있어서 여기까지 왔다면, 당신이 원하는 것은 90억 매개변수 분류기가 아닙니다. 당신이 원하는 것은 Beam 1.0 또는 그것이 비교 대상으로 삼는 모델 중 하나이며, 물어야 할 질문은 그것을 직접 호스팅할 수 있는지, 아니면 아직 공개되지 않은 요금표를 기다리고 있는지입니다.

맞대결 구도가 제대로 짚는 한 가지는, 둘 다 같은 명제에 서로 반대쪽 끝에서 걸린 베팅이라는 점이다. 즉, 에이전트에서 비싼 부분은 답이 아니라 그 주변의 모든 것이다. Cloudflare의 해법은 애초에 생성이 필요하지 않았던 단계에서 생성을 제거하는 것이다. Reflection의 해법은 사고 토큰당 생성 비용을 더 저렴하게 만드는 것이다. 함께 배포하면 각각 단독으로 배포할 때보다 비용이 덜 들며, 이는 어느 벤더의 벤치마크 표가 말해 주는 것보다 더 나은 결과다.

그중 어느 것도 가정이 아닙니다: 이번과 같은 릴리스의 배경이 된 문서화된 AI 실패와 에이전트 사고는 OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급, 분쟁 플래그가 함께 제공됩니다.