ERNIE 5.5 Flash Preview와 "#2 오픈 모델"이라는 주장, 자체 리더보드 행과 모순된다

Baidu는 2026년 11월 12일 리더보드 주장을 인용 트윗했는데, 그 전문은 다음과 같습니다: "@Baidu_Inc의 Ernie 5.5 Flash Preview가 Code Arena: WebDev에서 1668점으로 #2 오픈 모델이 될 추세입니다." Baidu는 파라미터 수—총 2800억, 토큰당 활성 140억—를 덧붙였고 커뮤니티가 "테스트에 올려 주신 것"에 감사를 표했습니다. 그런 다음 나머지는 그대로 두었습니다. 문제는 그 1668점을 만들어낸 행이 오픈으로 표시되어 있지 않다는 점입니다. 같은 Code Arena WebDev 보드의 같은 11월 10일 스냅샷에서, ERNIE 5.5 Flash Preview에는 Proprietary 태그와 1668 ±16 점수, AutoEval 라벨을 가지며 투표는 N/A로 표시됩니다. 그것이 앞선다고 명시된 모델들—DeepSeek-V4.1-Flash 1664점, Kimi K3 1658점—은 각각 13,952표와 22,405표의 인간 투표가 있는 순위 행이며, D​eepSeek 행에는 MIT 라이선스 태그가 붙어 있습니다. 따라서 이 문장은 동시에 세 가지를 하고 있습니다: 실제 점수를 보고하고, 아직 존재하지 않는 라이선스를 약속하며, 보드가 부여하지 않은 순위를 설명하는 것입니다.

그중 어느 것도 그 숫자가 틀렸다는 뜻은 아니다. 그것은 그 숫자를 문장이 제시하는 것과는 다른 종류의 대상으로 만들 뿐이며, 그 차이는 리더보드 자체의 열에서 온전히 확인할 수 있다.

아레나가 게시한 것, 그리고 바이두가 빼놓은 한 줄

Arena 게시물은 2026년 11월 12일 01:08:21 UTC에 올라갔으며, Baidu의 인용보다 1분 앞섰습니다. 주장과 그 한정어가 같은 문단에 있기 때문에 전체 텍스트를 직접 확인해 볼 가치가 있습니다:

• "@Baidu_Inc의 Ernie 5.5 Flash Preview가 Code Arena: WebDev에서 1668점으로 2위 오픈 모델 자리를 향해 가고 있습니다."

• "가중치는 곧 Apache 2.0에 따라 오픈소스로 공개될 예정입니다."

• "이 점수는 1664점의 DeepSeek-V4.1-Flash (Max), 1658점의 Kimi K3 (Max)보다 바로 위에 위치하게 합니다."

Arena는 순위를 두 번이나 완곡하게 표현했다 — "~이 되어가는 추세" — 그리고 오픈 웨이트 상태를 "곧"이라는 단어로 미래의 사건에 붙였다. Baidu의 인용 트윗은 점수와 파라미터 수를 그대로 옮겼지만 Apache 2.0 문장은 완전히 삭제했고, "@arena의 최신 소식"이라는 프레이밍은 유지했다. Baidu의 게시물만 본 독자는 그 주장의 오픈 모델 부분이 미래 예측적 진술이라는 것을 알 수 없을 것이다, 왜냐하면 그것이 언급된 유일한 곳이 잘려나간 부분이기 때문이다.

그것은 잘못 인용한 것이 아니다. 그것은 발췌이며, 그것을 확인하려는 독자에게 입증 책임을 넘긴다 — 그리고 이것이 이 글의 나머지 부분이 하는 일이다.

행은 열 단위로 읽습니다.

Code Arena WebDev는 프런트엔드 웹 개발 작업을 평가합니다. 채팅 품질이나 일반 코딩이 아니라, 여러 추론 단계와 도구 사용을 수반하는 에이전트형 코딩 작업을 말합니다. 11월 10일 스냅샷에는 158개 모델에 걸쳐 995,980표가 들어 있습니다. 다음은 보드가 출력하는 그대로의 ERNIE 5.5 Flash Preview 행이며, 해석은 덧붙이지 않았습니다:

• 점수 — 1668, 1668 +16/-16로 공개되어 대략 90% 정도의 구간이 약 1652에서 1684입니다.

• 순위 — N/A. 이 행은 순위 번호 없이 순위 16과 순위 17 사이에 표시됩니다.

• 투표 — N/A. 해당 행에는 사람의 투표 수가 전혀 없습니다.

• 레이블 — AutoEval, Arena 자체 설명 자료를 가리키는 링크된 태그.

• 라이선스 태그 — 독점(Proprietary).

• 가격 — 백만 토큰당 입력 $0.28, 출력 $1.13으로, Qianfan 정가와 일치합니다.

• 컨텍스트 — N/A, 공급업체 페이지에 1M 토큰 창이 명시된 모델에서.

그 일곱 개 열 중 세 개는 N/A이고, 그중 하나는 라이선스 열인데, 이는 해당 주장이 의존하는 열입니다. 그것이 자신이 위에 있다고 주장하는 대역과 비교해 보면 그림은 흐려지기보다 오히려 선명해집니다:

• 1691 — Claude Opus 5 (Max), A​nthropic, 독점.

• 1688 — Kimi K3.1 Pro (Max), M​oonshot, "Kimi K3.1 Pro License"라는 태그가 지정되어 있으며, Arena가 오픈 소스도 독점도 아니라고 표시하는 사용자 지정 라이선스입니다.

• 1682 — Gemini 4 Argon (High), Google, 독점.

• 1679 — GPT-6.1 Terra (Max), O​penAI, 독점.

• 1676 — Qwen3.8-Max (0902), A​libaba, 독점, 잠정.

• 1673 — GPT-6 Sol (Max), O​penAI, 독점.

• 1670 — Qwen3.8-Max, A​libaba, 독점, 잠정.

• 1668 — ERNIE 5.5 Flash Preview, Baidu, 독점(Proprietary), AutoEval.

• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), DeepSeek, MIT, 13,952표.

• 1658 — Kimi K3 (Max), Moonshot, 22,405표.

그 목록을 그 주장과 대조해 보라. 그 목록에서 ERNIE 위에 있는 모든 것은 하나의 사용자 지정 라이선스 행을 제외하면 Proprietary다. 당신이 만나는 첫 번째 진정으로 오픈 라이선스가 적용된 모델은 그 아래에 있는 D​eepSeek 행이다. 따라서 "#2 open model"은 ERNIE가 이 표에서 어디에 위치하는지를 설명하는 말이 아니다. 그것은 가중치가 Apache 2.0으로 공개되고 AutoEval 점수가 사람이 투표한 점수와 동등하게 취급된다면 ERNIE가 어디에 위치할지를 설명하는 말이다. 두 조건 모두 미래이거나 논쟁 중이며, 어느 것도 인용 트윗에서는 보이지 않는다.

AutoEval이 실제로 무엇인지, 그리고 여기서 ±16이 왜 중요한지

Arena는 2026년 7월 30일에 AutoEval 방법론을 발표했고 8월 12일에 마지막으로 개정했습니다. 이 메커니즘은 인간 선호도로 훈련된 보상 모델을 사용해 자동으로 투표를 던지는 방식입니다. 실시간 프롬프트-응답 쌍을 표본 추출하고, 대상 모델로부터 응답을 다시 생성하며, 보상 모델이 둘 모두를 점수화하고, 점수 차이를 소프트 확률 투표로 변환한 다음, 그 합성 투표를 다른 모델들에 대한 실시간 인간 투표와 결합합니다. Arena는 그 결과 점수들이 "명확히 'AutoEval'로 표시되고, 검증할 충분한 인간 투표가 도착하면 한 번 업데이트된다"고 밝히며, 실시간 평가와의 순위 상관관계가 0.98을 넘는다고 보고합니다.

그것은 출시 첫날 신호를 얻는 방어 가능한 방법이며, 모델이 출시되는 당일에 보드에 나타날 수 있는 이유이기도 합니다. 또한 Arena 자신의 설명에 따르면 그것은 자리표시자입니다. 그 숫자는 구조상 잠정적이며 변할 것으로 예상됩니다. ERNIE 행의 레이블은 장식이 아닙니다. 그것은 1668을 검증 대기 중인 추정치로 취급하라는 지시입니다.

이제 아무도 인용하지 않은 부분인 오차 막대를 적용해 보자. ERNIE의 구간은 약 1652에서 1684까지이다. DeepSeek-V4.1-Flash의 1664와 Kimi K3의 1658은 모두 그 안에 들어간다. Qwen3.8-Max의 1670도, GPT-6 Sol의 1673도 마찬가지다. “its score puts it just above DeepSeek-V4.1-Flash at 1664 and Kimi K3 at 1658”라는 문장은 점추정값에 대해서는 산술적으로 참이지만, 비교로서는 통계적으로 뒷받침되지 않는다. 이 행 자체에 공개된 불확실성에 따르면 ERNIE는 1652와 1684 사이의 어떤 모델과도 구분되지 않는다. D​eepSeek보다 높을 수도 있다. 낮을 수도 있다. 리더보드는 현재 어느 쪽인지 말하지 않는다.

이것은 특정 벤더를 겨냥한 형식적 트집이 아니다. 전체 상위 25개가 대략 200점에 걸쳐 있는 순위표에서 ±16 구간은 이 신뢰 수준에서 거의 모든 인접한 두 행이 동률임을 의미하며, 어떤 모델이든 단일 인접 비교를 정직하게 해석하면 "동률"이다. 여기서 이례적인 것은 한 벤더가 그 결과를 근거로 인접 비교를 과장했다는 점뿐이다.

"#2"가 어디에서 나오는지, 그리고 그것이 의존하는 라이선스

숫자에서 거꾸로 계산해 보면 그 주장이 참이 되는 방법은 정확히 하나뿐인데, 이는 확인 가능하고 Arena가 이를 분명히 밝히지 않았기 때문에 언급할 가치가 있다.

"오픈 세트"를 "Arena가 Proprietary로 태그하지 않은 모든 행"을 의미한다고 보자. 1668 위쪽에서는 정확히 한 행만 남는데, 1688의 Kimi K3.1 Pro (Max)이며 "Kimi K3.1 Pro License"라는 태그를 달고 있다. ERNIE 위의 나머지 모든 것은 Proprietary로 태그되어 있다. 그 해석 아래에서 Kimi K3.1 Pro는 #1이고 ERNIE 5.5 Flash Preview는 #2가 될 것이다 — 그것이 경쟁자들을 이겼기 때문이 아니라, 그 앞의 경쟁자들이 proprietary이기 때문이다.

그 재구성은 추론이지 인용이 아니다. Arena의 게시물은 자사가 #1로 여기는 모델을 명시하지 않으며, 리더보드는 라이선스 태그 외에는 오픈 대 독점 분류 기준을 공개하지 않는다. 그 추론이 맞다면, 이 주장을 떠받치는 핵심 사실은 다른 누군가의 모델에 적용된 커스텀 라이선스다. Arena는 Kimi K3.1 Pro를 오픈으로 취급하며, "#2 오픈 모델"이라는 전체 프레이밍은 그 분류 결정을 그대로 물려받는다. 만약 Arena가 대신 커스텀 라이선스를 클로즈드로 계산한다면, ERNIE의 1668이 최상위 비독점 행이 되고 그 주장은 "#1"로 읽혔어야 했으며, 그것은 프리뷰에 관해 발표하기에는 훨씬 더 이상한 문장이었을 것이다.

어느 쪽이든 그 문장은 이를 뒷받침하는 데이터보다 더 많은 역할을 하고 있다. 숫자는 사실이다. 순위는 아무도 본 적 없는 라이선스에 달려 있다.

프레이밍이 숨기는 거리

이 글의 어떤 정직한 버전에도 숫자 하나가 더 들어가야 하며, 그것이 빠져 있다는 점이 이 글에 대해 가장 많은 것을 말해 줍니다. 같은 스냅샷에서 Code Arena WebDev의 1위는 1836점의 Claude Fable 5.2입니다. 1668점의 ERNIE 5.5 Flash Preview는 그보다 168점 뒤처져 있으며, AutoEval 행이 순위에 포함된다면 158개 중 17위로, 1670점의 Qwen3.8-Max와 1664점의 DeepSeek-V4.1-Flash 사이에 들어갑니다.

158개 모델 리더보드에서 17위, 출시 하루 만에, 총 2800억 개 중 활성 매개변수 140억 개라는 것은 정말 좋은 결과입니다. 그것은 출시 주간 게시물을 정당화할 만한 결과입니다. 그것은 시상대 입상 성적으로 포장해야 할 결과는 아니며, 그렇게 포장하는 것은 정직한 한 문장이면 피할 수 있었을, 공급업체의 신뢰도를 더 크게 깎는 바로 그런 면밀한 검증을 불러옵니다.

벤더 페이지가 말하는 것과 말하지 않는 것

바이두의 ERNIE 5.5 Flash Preview 자체 릴리스 페이지는 날짜가 2026년 11월 11일로 되어 있고, "총 280B 파라미터에 14B 활성 및 1M 토큰 컨텍스트"라고 명시하며, 이 모델을 11월 5일에 공개된 기본 가중치인 ERNIE 5.5 Flash Base에서 최초로 포스트 트레이닝된 체크포인트라고 설명합니다. 이 페이지에는 라이선스 진술도, 가중치 진술도, 벤치마크 수치도 없습니다 — 페이지의 벤치마크 언급은 이 모델의 점수가 아니라 이전 ERNIE 릴리스에 관한 헤드라인입니다.

그 격차는 검토 중인 주장에 중요하다. "가중치는 곧 Apache 2.0에 따라 오픈소스로 공개될 것이다"라는 문구가 Arena의 게시물에 나온다. 그것은 공급업체의 릴리스 페이지에는 나오지 않고, 공급업체가 그 게시물을 직접 확대 홍보한 내용에도 나오지 않는다. Apache 2.0 약속이 실제로 유효하고 현재의 것이라면, 릴리스 페이지가 그것을 두기에 자연스러운 곳인데 거기에는 없다. 그것이 실제이지만 아직 문서화되지 않았다면, 이 모델에 대한 라이선스 약속의 유일한 공개 출처는 리더보드 발표뿐이다. 이는 공급업체가 그 위에 순위를 구축하고 있는 상황에서 라이선스가 존재하기에 빈약한 곳이다.

숫자가 확정되기 전에 이것을 사용하는 방법

이번 주에 모델을 선택하는 사람에게 실질적인 질문은 1668이 좋은 점수인지가 아니다. 그것은 프리뷰 체크포인트에 대한 잠정적 WebDev 추정치가, 입력 $0.28, 출력 $1.13에 필수 추론이 출력으로 과금되는 가격으로, 이미 프로덕션에 있는 무언가를 대체해야 하는지다. 이용 가능한 증거로 볼 때 답은 아니오다. 그러나 이를 테스트하는 방법은 저렴하며, 게시물이나 이 기사 중 어느 쪽도 믿을 필요가 없다.

리더보드 대신 라우팅된 모델에서 비교를 실행하세요. DeepSeek-V4.1-Flash와 Kimi K3는 모두 하나의 OpenAI 호환 키 뒤에 있는 OrcaRouter를 통해 사용할 수 있으며, 공급자 목록 가격에 마크업 없이, 따라서 대조군은 두 번째 계약과 두 번째 SDK가 아니라 공급자 자체 요율로 비용이 발생합니다. 실제 업무를 대표하는 프런트엔드 작업 20개를 만드세요 — 컴포넌트 리팩터링, 특정 브레이크포인트에서만 나타나는 레이아웃 버그, 상태 머신 연결 작업 — 각 모델을 두 번씩 실행하고 정확성은 물론 출력 토큰도 계산하세요. 그것이 어떤 리더보드 행도 여러분에게 제공하지 못하는 측정값입니다. 왜냐하면 그것은 반드시 여러분의 것이어야 하는 단 하나의 숫자이기 때문입니다: 토큰당 가격이 아니라 작업당 비용.

ERNIE 5.5 Flash Preview 자체를 도입 대상이 아니라 테스트 대상으로 취급하세요. 이 모델은 Qianfan에 있고 우리 카탈로그에는 없으며, 벤더 스스로가 중간 post-training 체크포인트라고 부르는 preview는 바로 primary 뒤에 라우팅할 프로필이지 그 앞에 둘 프로필이 아닙니다. 그래도 경로에 올린다면, failover가 있는 경로에 올리세요. 그래야 Arena가 1668을 사람이 투표한 수치로 대체하는 날, 또는 Apache 2.0 가중치가 나타나는 날 — 혹은 나타나지 않는 날 — 사용자가 장애가 아니라 로그 라인에서 알게 됩니다.

무엇이 그것을 해결할까요?

세 가지가 있으며, 도착할 가능성이 높은 순서대로, 각각은 이 글의 결론을 단순히 꾸미는 것이 아니라 바꿔 놓을 것이다.

• 해당 행의 AutoEval 라벨을 대체하는 인간 투표. Arena는 충분한 투표가 모이면 점수가 업데이트된다고 말합니다. 투표가 더 이상 N/A로 표시되지 않게 되면, 1668은 비교 대상이었던 1664 및 1658과 비교 가능해지고, ±16 문제는 자연스럽게 해결됩니다. 점 추정치가 움직이는 만큼 신뢰구간이 좁아지는지 지켜보세요.

• 명명된 라이선스로 공개된 가중치. Apache 2.0 파일이 포함된 실제 저장소는 오픈 모델 논란을 영구히 종결하고, "#2 오픈 모델"이라는 표현을 사후적으로나마 정당하게 만든다. 가중치 없는 라이선스 발표는 아무것도 해결하지 못한다.

• 독립적인 WebDev 측정. Arena의 AutoEval은 Arena 자체의 도구이며, Baidu가 이 모델에 대해 공개한 모든 벤치마크 수치는 Baidu가 자체 하네스에서 직접 실행한 결과입니다. 둘 다 제3자 결과가 아닙니다. ERNIE 5.5 Flash Preview에 대한 최초의 진정으로 독립적인 프런트엔드 평가는 이 둘을 합친 것보다 더 가치 있을 것입니다.

그때까지 정확한 문장은 지루한 쪽이다: Baidu가 11월 11일에 내놓은 프리뷰 체크포인트는 Code Arena WebDev에서 1668점을 기록했고, 이는 바로 아래 네 모델과 겹치는 구간에 속한 AutoEval 추정치이며, 보드가 여전히 Proprietary로 표시하는 행에 있고, 그 벤더는 이를 오픈 모델 중 단기 #2라고 확대 해석했다. 그 모든 절은 오늘 검증 가능하다. 트윗된 버전은 틀렸다기보다 미완성에 가까운데, 마치 완성된 것처럼 게시되었다.