ERNIE 5.5 Flash Preview, 드디어 출시 게시물과 20개 벤치마크, 가중치 공개 약속을 갖추다

Terminal-Bench 4.0에서의 46.5점은 Baidu가 ERNIE 5.5 Flash Preview에 대해 처음으로 공개한 점수이며, 2026년 11월 11일에 나왔습니다 — 모델 자체가 Qianfan에서 가격표만 있고 문서는 전혀 없는 유료 엔드포인트로 출시된 지 하루 뒤였습니다. 그 숫자를 실은 릴리스 게시물은 이 모델에 관한 첫 공식 발표이며, 엔드포인트가 답하지 못한 세 가지 질문에 답합니다: 무엇인가(총 2,800억 파라미터에 활성 140억, 1M 토큰 컨텍스트, 11월 5일자 ERNIE 5.5 Flash Base 체크포인트로 포스트트레이닝됨), Baidu가 말하는 비교 결과는 무엇인가(GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3, GLM-5.3-Flash, DeepSeek-V4.1-Flash-1017, 그리고 Hy4로만 표기된 모델과 나란히 놓인 20개 벤치마크 행), 그리고 직접 실행할 수 있게 될 것인가(가중치는 "곧 Apache 2.0으로 오픈소스화될 예정")입니다. 그 표의 모든 수치는 벤더가 보고한 것이고, Baidu가 선택한 심사 모델로 Baidu 자체 하네스에서 산출되었으며, 그중 어느 것도 회사 외부에서 재현되지 않았습니다. 벤치마크 그룹은 이 비교에서 실제로 여러분이 통제할 수 있는 부분입니다. 0% 마크업이 적용된 제공업체 정가 GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3 및 DeepSeek V4.1 Flash는 제공업체 정가로 하나의 키에서 이용할 수 있으며, OrcaRouter 수수료는 $0.00로 표시됩니다.

Baidu가 페이지에 올린 것

이 글은 벤치마크 부록이 붙은 데모 릴 형태로 구성되어 있으며, 이는 Baidu가 이 글의 논지가 무엇이라고 보는지를 보여준다. 게임 개발, 3D 모델링 및 디자인, 지식 노동, 영상 제작이라는 네 가지 역량 섹션은 각각 에이전트 하네스 안에서 모델이 처음부터 끝까지 생성한 산출물로 구성되어 있으며, 외부 자산과 도구는 하나하나 출처를 밝혔다. 사양은 첫 문단에만 나오고 다시 언급되지 않는다. 총 280B, 활성 14B, 1M 토큰 컨텍스트, Qianfan의 API, Apache 2.0에 따른 가중치 공개 약속이다. 모델 카드도, 지식 컷오프도, 지연 시간 수치도, 가격도 없으며, 작업당 모델이 얼마나 많은 추론 토큰을 출력하는지에 대한 언급도 없다.

게시물에서 두 문장은 나머지 전체를 합친 것보다 더 중요하다. 첫 번째는 게임 개발 섹션에 있으며, Unreal Engine 5.8 프로젝트를 설명한다: "텍스트 전용 모델이라 화면을 볼 수 없기 때문에, 이 모델은 플레이테스트에서 발견된 문제들, 예를 들어 캐릭터가 땅 위에 떠 있는 문제, 일관되지 않은 달리기 방향, 잘못 배치된 카메라 등을 코드 안의 측정 가능한 테스트로 바꿨다." 이것은 우회 방안에 대한 이례적으로 솔직한 설명이다 — 모델은 게임을 볼 수 없었기 때문에 테스트를 작성했다 — 그리고 이것은 이 시스템이 텍스트 입력, 텍스트 출력 시스템이며 시각적 능력은 도구에 위임된다는 점을 보여주는, 아직까지 가장 분명한 진술이다.

두 번째는 마무리 문단입니다. ERNIE 5.5 Flash Preview는 “포스트트레이닝에서 나온 중간 체크포인트입니다. 이미 같은 규모의 모델들과 경쟁력이 있지만, 학습이 끝나지 않았기 때문에 일부 기능은 아직 부족할 수 있습니다.”라고 밝힙니다. 출시가 아직 끝나지 않았다고 알려주는 출시 글은 그렇지 않은 글보다 더 가치가 있으며, 그 위의 모든 내용을 새롭게 해석하게 만듭니다. 당신은 제품 발표를 읽고 있는 것이 아닙니다. 공식 출시 전에 사용자들이 피드백을 보내도록 게시된, 점수판이 첨부된 진행 보고서를 읽고 있는 것입니다.

스무 개의 벤치마크 행을 주의 깊게 읽으세요.

부록 표는 하나의 이미지인데, 그 자체가 작은 단서입니다. 숫자는 복사하거나 정렬하거나 스프레드시트와 대조해 확인할 수 없습니다. 이미지에서 읽어 보면 ERNIE 열은 다음과 같으며, 모두 Baidu가 보고한 수치이고 재현되지 않았습니다:

• 에이전틱 코딩 — Terminal-Bench 4.0 46.5, DeepSWE v1.1 71.2, ProgramBench(Almost Solved) 29.5, NL2Repo-Bench 64.8, Terminal-Bench-Science 0.1 21.0.

• 컴퓨터 사용 및 자동화 — CookieBench 88.2, AutomationBench 61.9, APEX-Agents 1.1 64.2, DRACO 84.9.

• 지식 작업 — SpreadsheetBench V2 36.4, OfficeQA Pro V2 67.9, Agents' Last Exam (CLI) 29.0, SkillsBench 1.1 텍스트 전용 73.5.

• 일반 에이전트 및 도구 사용 — Toolathlon-Verified 79.0, MCP-Atlas 84.6, BrowseComp 87.4.

• 추론 — 도구 없이 HLE 46.4(각주 마커 포함), AA-Omniscience-Public 25.2, AA-LCR v1.1 79.0.

• 3D — BlenderWorld 텍스트 전용, 79.0 — 본문의 CAD 및 Blender 관련 주장을 직접 다루는 유일한 행입니다.

각주야말로 정직함이 깃들어 있는 곳이며, 어떤 셀보다도 먼저 읽어볼 가치가 있다. 각 벤치마크는 이름이 붙은 하네스에서 실행되었고 — Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1, 그리고 DSH로 축약된 무언가까지 모두 등장한다 — 심사 모델은 Qwen3.8-Max, DeepSeek-V4.1-Flash-1017, Gemini 3.1 Flash-Lite이다. 한 각주는 “GLM-5.3과 우리 모델은 네이티브 멀티모달 능력을 갖추지 못하며, 이미지 이해는 Claude Opus 5.5로 구동되는 도구를 통해 제공된다”라고 인정한다. 다시 말해, 시각 의존 벤치마크 중 최소 일부는 경쟁사 모델을 호출하는 도구를 구동하는 ERNIE 5.5 Flash Preview에 의해 완료되었다. 그것은 합당한 엔지니어링 선택이며 점수표에서 발견하기엔 정말 이상한 일이고, 이는 무언가를 보는 것이 관련된 행들이 모델 단독이 아니라 전체 하네스를 측정한다는 뜻이다.

AA 접두사가 붙은 두 행에는 별도의 주의가 필요합니다. AA-Omniscience-Public과 AA-LCR v1.1은 독립 추적 기관인 Artificial Analysis가 발표한 벤치마크이지만, 이는 Artificial Analysis의 실행 결과가 아니라 Baidu의 실행 결과입니다. 11월 11일 기준 Artificial Analysis 리더보드에는 ERNIE 5.5 행이 없으므로, 두 셀 중 어느 것에도 대조할 독립적인 수치가 없습니다.

데모 릴이 바로 실제 논거입니다.

벤치마크 표가 인용될 부분이라면, 네 가지 사례 연구는 점수가 아니라 작업 결과물을 설명하기 때문에 위조하기 어려운 부분입니다. 세부 내용은 원칙적으로 확인 가능할 만큼 구체적이고, 이 모델을 무엇에 적용할지 결정할 때 유용할 만큼 실제적입니다.

• 게임 개발 — 단일 11시간 코딩 작업으로 제작한 3인칭 Unreal Engine 5.8 게임으로, 여러 엔진 세대의 에셋을 하나의 프로젝트로 병합하고 게임을 C++로 작성했습니다. 별도로, Cocos, Unity, LayaAir, PixiJS, Canvas 2D 전반에 걸쳐 디자인 문서로부터 생성된 약 100개의 모바일 미니게임이 있으며, 대부분은 규칙을 결정론적 시뮬레이션으로 구조화하여 봇 플레이스루와 상태 공간 탐색으로 각 레벨이 클리어 가능한지 검증할 수 있게 했습니다.

• 3D 모델링 — 두 에이전트가 Blender Python API를 통해 Boeing 747과 베이징 다싱 공항을 제작했는데, 한 에이전트는 공항을, 다른 에이전트는 항공기를 맡았고, 이후 축척을 맞추고 조명을 설정한 뒤 Cycles와 OptiX로 프레임별 렌더링하고 FFmpeg로 컷 편집했다. 호류지 사찰 단지는 조사한 뒤 단계별로 제작했다. 4개의 Blender 장면에 걸쳐 약 2,100개 객체와 182만 개 삼각형으로 구성된 프리비즈 시퀀스도 만들었다. W16 엔진, 선전의 타워 두 개, 달 탐사 로버는 Python 스크립트를 통해 FreeCAD에서 모델링했다.

• 지식 노동 — 데이터센터 전력 비용에 관한 20페이지 분량의 연구 보고서, 4,169건의 연방 교통사고 보고서를 바탕으로 한 24페이지 분량의 자율주행 분석, 1,000개 경로의 몬테카를로 시뮬레이션이 포함된 대화형 자산 계획 워크북, 그리고 WAV 형식으로 제공되는 6분 34초 분량의 오케스트라 곡입니다. 이 뒤에 있는 훈련 이야기는 게시물에서 가장 큰 숫자입니다: 40개 이상의 파일 형식에 걸쳐 1,000만 개의 참조 파일을 보관한 30만 개의 워크스페이스입니다.

• 비디오 — 150,000개 이상의 창작 환경과 약 5,300분의 완성된 비디오가 있으며, 그 중심에는 10,000줄이 넘는 Python으로 작성되어 하나의 매개변수화된 펠리컨을 20가지 예술 스타일로 움직이는 116초 분량의 2D 애니메이션 단편이 있습니다.

이들의 공통점은 그중 어느 것도 채팅 상호작용이 아니라는 점이다. 모두 도구 호출이 포함된 긴 에이전트 실행이며, 여기서 내세우는 주장은 지구력, 즉 모델이 수 시간에 걸친 편집 작업 내내 계획을 일관되게 유지할 수 있는지에 관한 것이다. 바로 그것이 20개 행짜리 벤치마크 표가 가장 형편없이 측정하는 속성이며, 해당 글이 아티팩트를 앞세우는 이유다.

출시 게시물과 엔드포인트가 서로 어긋나는 지점

게시글에서 설명한 모델과 Qianfan의 명세서에서 설명한 모델은, 서로 의견을 조율하지 않은 두 부서가 바라본 동일한 시스템임을 알아볼 수 있다. 엔드포인트는 11월 10일 100만 입력 토큰당 $0.28, 100만 출력 토큰당 $1.13, 캐시 읽기 $0.028, 1,024,000토큰 컨텍스트, 출력 상한 921,600토큰, 단일 고강도 수준의 필수 추론, 그리고 모델 카드 없음으로 공개되었다. 하루 뒤 게시된 출시 게시글은 컨텍스트 창을 다시 언급하고, 가격은 완전히 무시하며, 필수 추론에 대해서는 아무 말도 하지 않고, 모델 카드 자체는 제공하지 않으면서 모델 카드에 해당할 법한 포지셔닝을 제공한다.

실질적인 결과는 이 이야기의 두 반쪽을 함께 읽어야만 하고, 그렇지 않으면 아예 읽지 말아야 한다는 것입니다. 게시글은 이 모델이 11시간짜리 코딩 작업을 수행할 수 있다고 말하고, 엔드포인트는 모델이 생각하는 모든 것이 출력 요금으로 청구되며 생각을 끌 수는 없다고 말합니다. 몇 시간 동안 반복 작업을 하는 실행은 엄청난 수의 출력 토큰을 내보내는 실행이며, 백만 개당 $1.13의 요율에서 데모 영상의 비용은 그 게시글이 전혀 제기하지 않는 질문입니다. 누군가가 자신의 워크로드에서 완료된 작업당 출력 토큰을 측정하기 전까지는, 이 모델과 더 저렴한 모델 사이의 어떤 비교든 요금표의 비교일 뿐입니다.

아직 무엇이 빠져 있는데, 그것은 결코 작지 않다.

세 가지 부재가 ERNIE 5.5 Flash Preview의 현재 상태를 규정하며, 각각은 서로 다른 시간 규모에서 해소됩니다.

• 가중치. 게시물은 Apache 2.0을 "곧" 제공하겠다고 약속하지만 날짜를 명시하지 않았으며, 11월 11일 현재 Hugging Face에는 프리뷰 저장소가 없습니다. 그곳에 게시된 유일한 ERNIE 5.5 아티팩트는 ERNIE-5.5-Flash-Base와 그 BF16 변형뿐이며, 둘 다 10월 21일에 생성되었습니다. 기본 체크포인트는 ERNIE 5.5 Flash Base 라이선스로 제공되었는데, 이는 유럽연합, 영국, 한국을 제외하는 제한적 커뮤니티 라이선스이며, 관련 연간 매출을 기준으로 무료 상업적 사용에 상한을 두고 "Powered by ERNIE" 표기를 요구합니다. 프리뷰의 가중치가 실제로 Apache 2.0으로 제공된다면, 이는 해당 모델 패밀리의 라이선스 조건 변경이며 어떤 벤치마크 행보다 훨씬 큰 의미가 있습니다.

• 독립적인 점수. 이번 릴리스의 어떤 것도 Baidu 외에는 누구도 실행해 본 적이 없습니다. 이름에 AA가 들어간 벤치마크가 주목할 대상입니다. Artificial Analysis는 자체 하네스를 운영하며, 해당 모델을 추가하면 비교 가능한 행을 게시할 것이기 때문입니다. 그때까지 스무 개 셀은 측정치가 아니라 주장일 뿐입니다.

• 완성된 모델. Baidu는 포스트트레이닝이 진행 중이며 공식 출시 버전은 프리뷰보다 개선될 것이라고 말한다. 이는 오늘의 수치에 유효기간이 있다는 명시적 진술이며, 이 체크포인트를 기반으로 구축하려는 모든 결정을 움직이는 표적에 관한 결정으로 만든다.

프로덕션 경로를 걸지 않고 그것을 어떻게 평가할까

액세스는 Baidu 자체의 Qianfan API를 통하거나, 이를 재판매하는 타사 플랫폼을 통해 이루어집니다. OrcaRouter는 ERNIE 5.5 Flash Preview를 라우팅하지 않습니다. 200개가 넘는 모델로 구성된 저희 카탈로그에 ERNIE 항목이 없고 그 뒤에 Baidu 엔드포인트도 없으므로, 여기 어떤 내용도 이를 제공하겠다는 제안으로 해석되어서는 안 됩니다.

이 상황에서 카탈로그가 유용한 점은 비교표의 반대편에 있습니다. 이 모델이 벤치마크되는 대상 모델들은 모두 하나의 OpenAI 호환 키를 통해 공급자 정가에 0% 마크업으로 접근할 수 있습니다. 덕분에 동일한 스무 개 작업을 GPT-6.1 Sol, Claude Opus 5.5, GLM-5.3, DeepSeek V4.1 Flash로 직접 실행해 보고 Baidu가 매긴 순서가 여러분의 프롬프트와 맞닥뜨려도 유지되는지 확인할 수 있습니다. 자동 페일오버가 두 번째 역할을 맡습니다. 업타임 이력이 없는 프리뷰가 요청 경로를 떠받치는 유일한 요소일 필요는 없습니다. 호출이 지연될 때 라우팅된 폴백이 그 호출을 대신 받을 수 있기 때문입니다.

이번 주에 실행할 가치가 있는 평가는 범위가 좁고 비용이 저렴합니다. 자신의 장기 호라이즌 에이전트 작업 중 열 개를 골라 각각을 프리뷰와 이미 신뢰하는 두 모델을 통해 실행하고, 작업마다 세 가지를 기록하세요: 완료되었는지, 출력 토큰을 얼마나 소모했는지, 비용이 얼마였는지. 그러면 Baidu가 공개하지 않은 두 숫자, 즉 작업당 토큰 수와 완료된 작업당 비용을 직접 선택한 기준선과 비교해 얻을 수 있습니다. 46.5를 포함해 릴리스 글에 있는 나머지 모든 것은 다른 사람의 하네스입니다.

이 의문을 해소할 것은 또 다른 데모가 아니다. Apache 2.0 릴리스 날짜, 지식 컷오프와 평가표가 포함된 모델 카드, Artificial Analysis가 직접 산출한 Artificial Analysis 행, 그리고 이 수치와 비교할 수 있는 두 번째 체크포인트다. 바이두는 이제 11월 10일에 공개했어야 할 이야기를 공개했다. 이제 사용자에게 빚진 다음은, 사용자들이 점수판에 관해 바이두의 말을 그대로 믿지 않아도 되게 해주는 산출물이다.