Claude Fable 5.2 벤치마크: 65가 실제 소요 시간에서 치르는 대가

Claude Fable 5.2는 Artificial Analysis Intelligence Index v5.0.1에서 65점을 기록했습니다 — 78개 모델 중 1위이며, Gemini 4 Carbon보다 5점 앞섭니다. 이 5점에는 첫 토큰까지 267초, 작업당 46.8분의 실제 경과 시간, 인덱스 실행당 $26.54의 지출이 따르며, 이 모든 것이 그 점수의 실질적인 형태입니다. 이것이 하네스가 측정한 결과이며, 이를 어떻게 활용해야 하는지입니다. Claude Fable 5.2 API 페이지에는 엔드포인트와 가격이 있으며, 이 글은 벤치마크에 관한 것입니다.

아홉 가지 평가

{{1}}AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1{{/1}}. {{2}}터미널 및 자동화 작업 3개, 긴 입력에 대한 문서 기반 추론 작업 2개, 어려운 과학 및 수학 평가 2개, 프론티어 코드 평가 1개{{/2}}. {{3}}웹 에이전트 하네스 없음, 다중 턴 지원 시뮬레이션 없음, 취약점 탐지 없음.{{/3}}

점수와 그 척도

65, 순위 78개 중 1위, v5.0.1 기준입니다. v5.0.1에서 다시 채점된 모델만 같은 표에 속해야 합니다. v4.3 및 v4.3.2 점수는 별개의 평가 세트이며, 이들을 섞은 모든 차트는 유효하지 않습니다. 현재 코호트에서 상위권 순서는 Fable 5.2가 65, Gemini 4 Carbon이 60이고, 나머지는 더 뒤에 있거나 아직 다시 채점되지 않았습니다.

9개 평가 지표에서 5점 차이는 실재하지만 좁습니다. 유용한 해석은 ‘5% 더 우수하다’가 아니라 ‘어려운 평가군에서의 완만한 우위’이며, 그 비용을 지불할 이유는 순수한 역량보다는 변동성입니다. 오답 하나가 전체 실행을 무효화하는 작업에서는 성공 확률의 작은 우위가 단계를 거치며 복리로 커집니다.

벽시계

267초 만에 첫 토큰에 도달했으며, 지연 시간 데이터가 있는 77개 모델 중 76위입니다. 46.8분이 작업당 총 소요 시간입니다. 초당 97토큰의 출력은 시작된 후에는 Carbon의 72보다 35퍼센트 빠르지만 경과 시간에는 거의 기여하지 않습니다.

분포가 중요한 부분입니다. OrcaRouter의 실제 트래픽에서 동일한 모델의 p50은 8.09초로, 최초 토큰까지 기준이며, 7일 동안 3,560만 토큰에 걸쳐 p95는 10.00초라고 보고합니다. 하네스와 게이트웨이는 서로 다른 모집단을 측정하고 있습니다. 하나는 HLE-Diamond에서 모델이 최대 노력으로 사고하도록 하고, 다른 하나는 호출자가 설정한 노력 수준에서의 중앙값 요청입니다. Fable 5.2를 최대 노력으로 실행하면 AA의 수치를 재현할 것이고, 낮은 노력으로 실행하면 게이트웨이 수치에 가까운 값을 보게 될 것입니다.

그 돈

인덱스 실행 1회당 $26.54(입력 100만 토큰당 $8.00, 출력 100만 토큰당 $40.00) — 77개 중 77위로, 이 순위표에서 가장 비쌉니다. Gemini 4 Carbon은 동일한 9개 평가에 $5.48이 듭니다. 이는 인덱스 5점을 위해 4.8배의 비용을 쓰는 것이며, 이 비교에서 가장 유용한 단일 비율입니다.

AA는 해당 실행에서 출력 토큰이 2억 7500만 개였으며 verbosity가 0.97퍼센트라고 보고한다. 퍼센트와 개수는 Carbon의 2.69퍼센트 및 2억 500만 토큰과 비교할 때 서로 반대 방향을 가리킨다는 점에 유의해야 하며, 이것이 해당 퍼센트를 간결성 주장으로 인용해서는 안 되는 이유다.

비교를 쓸 만하게 만드는 비율은 인덱스 포인트당 벤치마크 지출 $0.41 대 Carbon의 $0.09입니다. 여기서 무엇을 결론 내리든, 산술은 단일 모델 결정이 아니라 라우팅 결정을 강제합니다: 이 가격에서 이 모델은 기본값이 아니라 하나의 티어입니다.

점수가 말해주지 않는 것

이 세트에는 사이버 평가가 없으므로, 여기에는 취약점 회상이나 패치 품질에 대해 말해 주는 것이 없습니다 — 그 때문에 프런티어 모델을 보고 있다면 관련이 있는 사항입니다. 여러 턴에 걸친 도구 호출이 포함된 장시간 실행 에이전트 평가도 없으며, 이는 Fable 5.2가 실제로 마케팅하는 워크로드입니다; 터미널 작업이 이를 근사하긴 하지만 재현하지는 못합니다.

신뢰성 측정도 없습니다. OrcaRouter의 라이브 트래픽은 7일 동안 모든 업스트림 제공업체에서 10.8%의 non-2xx 비율을 보인 반면, Carbon은 39.7%였습니다. 벤치마크 하네스는 재시도로 이를 흡수하지만, 애플리케이션은 직접 구축하지 않는 한 그렇게 하지 못합니다.

그것을 하나의 결정으로 읽기

작업이 아홉 가지 평가와 비슷하고 비동기적으로 실행할 수 있다면, 실행당 $26.54로 65회 실행하는 것은 어려운 사례에는 정당화될 수 있지만 쉬운 사례에는 낭비입니다 — 난이도에 따라 라우팅하고 대다수에는 더 저렴한 모델을 사용하세요. 작업이 대화형이라면, 하네스 수치는 당신의 수치가 아닙니다. 설계 기준이 되어야 하는 것은 게이트웨이 p50 8.09초이며, 노력 수준은 약 8초에 가까워질지 약 4분에 가까워질지를 결정하는 변수입니다.

1대1 비교에서는, Claude Fable 5.2 vs Claude Fable 5.1은 더 높은 가격으로 이전 세대를 다루며, Gemini 4 Carbon vs Claude Fable 5.1은 공급업체 간 쌍을 다룹니다. LLM 모델 목록에는 ID와 가격이 포함된 나머지 v5.0.1 코호트가 있습니다; 재사용하는 모든 차트에서 인덱스 버전을 다시 확인하세요. 같은 표의 v4.3 점수는 비교를 무효화하기 때문입니다.