ERNIE 5.5 Flash Preview, 당신의 가장 어려운 과제를 원하다: 11시간 빌드가 실제로 증명하는 것

ERNIE 5.5 Flash Preview는 2026년 11월 10일 Baidu의 Qianfan 플랫폼에서 유료 엔드포인트로 출시되었고, 공식 출시 게시물은 11월 11일에 올라왔으며 단 하나의 헤드라인 주장을 내세웠다: 가장 어려운 작업을 맡겨 보라. 그 주장은 무엇보다도 하나의 결과물 — Baidu가 단일 11시간 코딩 작업이라고 설명하는 과정에서 만든 3인칭 Unreal Engine 5.8 게임 — 과 Baidu가 자체 선택한 심사자들과 함께 자체 하네스에서 실행한 20개의 벤치마크 행에 기대고 있다. 11시간도 20개의 수치도 회사 외부에서 재현되지 않았다. 흥미로운 질문은 데모가 인상적인지 여부가 아니다. 11시간짜리 에이전트 실행이 과연 측정할 올바른 대상인지, 그리고 사양표가 그러한 실행 하나에 지불하게 될 청구서에 대해 무엇을 말하는지다. 카탈로그에는 17개 제공업체의 228개 모델이 있고 17개 제공업체의 228개 모델이 있는 카탈로그에 ERNIE 항목은 없다 따라서 비교군은 한 번의 키 입력 거리에 있지만 정작 대상은 그렇지 않다.

이 주장은 난이도가 아니라 기간에 관한 것이다.

모든 모델 출시 게시물은 그 모델이 어려운 일을 잘한다고 말한다. 이 모델은 '어려움'을 다르게 정의한다. 즉, 길다는 것으로 정의한다. 게임 빌드, 3D 장면, 수천 개 파일로 이루어진 워크스페이스, 116초짜리 애니메이션 단편은 모두 더 작은 모델이라면 틀렸을 질문에 답하는 실습이 아니라, 수 시간의 편집과 도구 호출에 걸쳐 하나의 계획을 일관되게 유지하는 실습이다.

그 구분이 중요한 이유는 두 가지 속성이 서로 분리되기 때문입니다. 어떤 모델은 단일 턴 추론에서는 뛰어나지만, 리팩터링 네 시간째에 무너질 수 있습니다. 그때는 컨텍스트가 모델 자신의 이전 실수로 가득 차 있고, 계획은 실행보다 수정이 필요하기 때문입니다. 또한 어떤 모델은 일회성 퍼즐에서는 평범하지만, 밤샘 빌드에는 여전히 올바른 선택일 수 있습니다. Baidu는 당신이 두 번째 측면을 중요하게 여긴다고 보고 있습니다.

이 글 전체에서 가장 유용한 문장은 벤치마크가 아니다. 그것은 게임 개발 섹션에 있으며, 모델이 보지 못하는 상태에서 어떻게 작업했는지를 설명한다. 모델은 텍스트 전용이라 화면을 볼 수 없기 때문에, 플레이테스트에서 발견된 버그—캐릭터가 지면 위에 떠 있는 문제, 일관되지 않은 달리기 방향, 잘못 배치된 카메라—를 코드로 측정 가능한 테스트로 변환했다. 이는 우회 방법에 대한 솔직한 설명이며, 스펙 문서가 말해 주지 않는 것을 알려 준다. 시각 작업에 대한 모델의 역량은 모델이 스스로 작성하는 도구에 위임되며, 이는 결과의 품질이 보지 못하는 대상에 대해 검증 가능한 테스트를 고안할 수 있는지에 달려 있음을 의미한다.

릴에 실제로 포함된 내용

네 가지 사례 연구는 나열할 가치가 있습니다. 왜냐하면 그것들은 출시 홍보 문구가 보통 지니는 것보다 더 구체적이며, 바로 그 구체성이 원칙적으로 검증 가능하게 만들기 때문입니다.

• 게임 개발 — 11시간짜리 한 작업으로 제작된 3인칭 Unreal Engine 5.8 게임으로, 여러 세대의 엔진에서 나온 에셋을 하나의 프로젝트로 병합하고 게임을 C++로 작성했다. 이와 별도로 Cocos, Unity, LayaAir, PixiJS, Canvas 2D 전반에 걸쳐 설계 문서에서 생성된 약 100개의 모바일 미니게임이 있으며, 대부분은 규칙을 결정론적 시뮬레이션으로 구조화해 봇 플레이스루와 상태 공간 탐색으로 모든 레벨이 클리어 가능함을 증명할 수 있게 했다.

• 3D 모델링 — 보잉 747과 베이징 다싱 공항은 두 에이전트가 Blender Python API를 통해 제작했으며, 한 에이전트는 공항을, 다른 한 에이전트는 항공기를 맡은 뒤 스케일을 맞추고 조명을 설정해 Cycles와 OptiX로 프레임별 렌더링하고 FFmpeg로 편집했습니다; Hōryū-ji 사찰 단지는 단계별로 조사하고 조립했습니다; 네 개의 Blender 장면에 걸쳐 약 2,100개 객체와 182만 개 삼각형으로 구성된 프리비즈 시퀀스; W16 엔진, 선전 타워 두 개, 달 탐사 로버는 Python 스크립트를 통해 FreeCAD에서 모델링했습니다.

• 지식 노동 — 데이터센터 전력 비용에 관한 20페이지 분량의 연구 보고서, 4,169건의 연방 교통사고 보고서를 토대로 작성한 24페이지 분량의 자율주행 분석, 1,000개 경로 몬테카를로 시뮬레이션이 포함된 대화형 재무 설계 워크북, 그리고 WAV 파일로 제공되는 6분 34초 길이의 관현악곡.

• 비디오 — 150,000개 이상의 창작 환경과 약 5,300분의 완성된 비디오가 있으며, 그 중심에는 10,000줄이 넘는 Python으로 작성되어 하나의 매개변수화된 펠리컨을 20가지 예술 스타일로 움직이는 116초 분량의 2D 애니메이션 단편이 있습니다.

지식 노동 섹션의 배경이 되는 훈련 수치는 게시물에서 가장 큰 숫자입니다. 40개 이상의 파일 형식에 걸쳐 1,000만 개의 참조 파일을 담은 30만 개의 워크스페이스이죠. 이는 모델이 무엇을 견디도록 훈련되었는지를 보여주는 진술이며, 벤치마크 표가 전혀 제시할 수 없는 논거의 일부입니다.

스무 개의 행을, 긴 연속 구간에 대해 말하는 내용에 초점을 맞춰 읽으면

부록은 이미지 한 장이라서 숫자를 복사하거나 정렬하거나 스프레드시트와 대조할 수 없습니다. 그 이미지에서 읽어 보면 ERNIE 열은 다음과 같으며, 모두 벤더가 보고한 값이고 재현되지 않은 값입니다:

• 에이전틱 코딩 — Terminal-Bench 4.0 46.5, DeepSWE v1.1 71.2, ProgramBench(Almost Solved) 29.5, NL2Repo-Bench 64.8, Terminal-Bench-Science 0.1 21.0.

• 컴퓨터 사용 및 자동화 — CookieBench 88.2, AutomationBench 61.9, APEX-Agents 1.1 64.2, DRACO 84.9.

• 지식 작업 — SpreadsheetBench V2 36.4, OfficeQA Pro V2 67.9, Agents' Last Exam (CLI) 29.0, SkillsBench 1.1 텍스트 전용 73.5.

• 일반 에이전트 및 도구 사용 — Toolathlon-Verified 79.0, MCP-Atlas 84.6, BrowseComp 87.4.

• 추론 — 도구 없이 HLE 46.4, AA-Omniscience-Public 25.2, AA-LCR v1.1 79.0.

• 3D — BlenderWorld 텍스트 전용(79.0).

이 표는 점수판으로 읽기보다 아직 실패하는 지점을 보여주는 지도로 읽을 때 훨씬 유용하다. 40 미만인 행은 네 개다. ProgramBench 29.5, 명령줄에서의 Agents' Last Exam 29.0, AA-Omniscience-Public 25.2, Terminal-Bench-Science 21.0이다. 이들은 만만한 벤치마크가 아니다. Agents' Last Exam은 에이전트가 자율적으로 완수할 수 있는 범위의 최전선에 가깝도록 설계되었고, omniscience는 자신 있게 내놓은 오답에 페널티를 주며, Terminal-Bench-Science는 그럴듯해 보이는 절차가 무가치한 실험실 수준의 과제를 테스트한다. 가장 어려운 과제를 겨냥하면서 가장 어려운 에이전틱 벤치마크의 과학 버전에서 21.0을 기록하는 모델은 현재 한계가 어디에 있는지를 말해준다. SpreadsheetBench V2의 36.4는 특히 스프레드시트 작업에 대해 비슷한 점을 말해주는데, 이는 출시 게시물의 1,000개 경로 몬테카를로 워크북과 나란히 두면 어색하다.

80을 넘는 행들은 다른 이유로도 마찬가지로 많은 것을 시사한다. BrowseComp 87.4, MCP-Atlas 84.6, CookieBench 88.2, DRACO 84.9는 모두 모델이 답변 자체가 아니라 완료되어 확인 가능한 최종 상태를 기준으로 평가되는 작업이다. 검증 가능한 완료에는 강하고 개방형 과학적 판단에는 약한 이 패턴은, 빌드되거나 빌드되지 않는 파일로 가득 찬 30만 개의 워크스페이스로 훈련된 모델에서 정확히 예상할 수 있는 모습이다.

각주가 정직성을 담고 있다. 각 벤치마크는 이름이 붙은 하네스에서 실행되었고, Claude Code 2.1.x, mini-swe-agent 2.4.6, Codex 0.162.1, 그리고 DSH로 약칭된 무언가가 모두 등장하며, 심사 모델은 Qwen3.8-Max, DeepSeek-V4.1-Flash-1017, Gemini 3.1 Flash-Lite이다. 한 각주는 GLM-5.3과 이 모델이 네이티브 멀티모달 능력이 부족하며 이미지 이해는 Claude Opus 5.5로 구동되는 도구를 통해 제공되었다고 인정한다. 따라서 시각 의존 행 중 최소 일부는 ERNIE 5.5 Flash Preview가 경쟁사의 모델을 호출해 사물을 보는 하네스를 측정한다. 그것은 정당한 엔지니어링 선택이자 점수판에서 발견하기엔 기묘한 일이다.

AA 접두사가 붙은 두 행에는 별도의 유의사항이 필요합니다. AA-Omniscience-Public과 AA-LCR v1.1은 독립 추적 기관인 Artificial Analysis가 공개한 벤치마크이지만, 이는 Baidu가 실행한 결과입니다. 11월 11일 기준으로 Artificial Analysis 리더보드에는 ERNIE 5.5 행이 없으므로, 두 셀 중 어느 것에도 대응시킬 독립적인 수치가 없습니다.

11시간 운행에 드는 비용, 그리고 바이두가 말하지 않은 것

엔드포인트 문서는 이번 릴리스에서 데모를 엔지니어링 의사결정으로 바꾸는 부분입니다. Qianfan은 ERNIE 5.5 Flash Preview의 가격을 입력 토큰 100만 개당 $0.28, 출력 토큰 100만 개당 $1.13으로 명시하며, 캐시 읽기는 $0.028, 컨텍스트 윈도는 1,024,000토큰, 출력 상한은 921,600토큰이고, 추론은 단일 고강도 수준에서 항상 켜져 있으며 끌 방법이 없습니다.

그 출력 상한은 긴 단일 실행이 가능하기라도 한 기계적 이유입니다. 모델은 전체 컨텍스트 창이 담을 수 있는 양과 거의 맞먹는 토큰을 내보낼 수 있기 때문입니다. 또한 비용이 명확하지 않은 이유이기도 합니다. 프롬프트는 출력 요율의 4분의 1로 책정되지만, 모델이 생각하는 모든 것은 출력 요율로 청구되며, 생각을 멈출 수 없는 모델은 작업당 비용이 아무도 읽지 않는 토큰에 의해 좌우되는 모델입니다.

최대 단일 호출, 즉 이용 가능한 가장 유리한 경우를 두고 계산해 보자. 1,024,000토큰 창을 채우는 데는 입력 요율로 약 $0.29가 든다. 921,600토큰의 전체 출력 상한을 내보내는 데는 약 $1.04가 든다. 두 한도를 모두 소진하는 한 번의 호출에 대략 $1.33인 셈이다. 11시간짜리 Unreal 빌드가 그렇게 했을 가능성은 매우 낮아 보이며, 출시 글에는 토큰을 얼마나 소비했는지, 별도 호출이 몇 번이었는지, 비용이 얼마였는지 나와 있지 않다. 누군가 자신의 워크로드에서 완료된 작업당 출력 토큰을 측정하기 전까지, 이 모델이 어려운 작업에서 저렴하거나 비싸다는 주장은 결과 비교가 아니라 요금표 비교일 뿐이다.

릴리스가 아직 당신에게 갚아야 할 두 가지

이 게시물은 ERNIE 5.5 Flash Preview를 “사후 학습에서 나온 중간 체크포인트”라고 부르며 마무리하며, 학습이 아직 끝나지 않았고 일부 기능은 아직 미흡할 수 있음을 인정한다. 또한 가중치가 조만간 Apache 2.0에 따라 오픈소스로 공개될 것이라고 약속하지만 구체적인 날짜는 없다. 그리고 11월 11일 기준 Hugging Face에는 프리뷰 저장소가 없으며, 그곳에 공개된 유일한 ERNIE 5.5 아티팩트는 기본 체크포인트와 그 BF16 변형뿐이다. 이번 릴리스에는 모델 카드도, 지식 컷오프도, 지연 시간 수치도 어디에도 없다.

그러므로 “가장 어려운 과제를 맡겨 보라”는 말에 대한 정직한 요약은 그 슬로건보다 범위가 좁다. ERNIE 5.5 Flash Preview는 매우 큰 컨텍스트, 이례적으로 큰 출력 허용량, 빌드 산출물로 끝나는 과제에서의 강한 실적, 과학적 판단으로 끝나는 과제에서의 약한 실적, 그리고 독립적 검증이 전혀 없는 텍스트 전용 모델이다. 이는 실재하고 구체적인 프로필이다. 또한 두 번째 체크포인트가 아마 덮어쓸 프로필이기도 하다.

그 프로필에 경로를 걸지 않고 어떻게 테스트할 수 있을까

Baidu는 자체 Qianfan API와 이를 재판매하는 타사 플랫폼을 통해 이 모델을 제공합니다. OrcaRouter는 ERNIE 5.5 Flash Preview를 라우팅하지 않습니다. 17개 제공업체의 228개 모델 카탈로그에 ERNIE 항목이 없고 그 뒤에 Baidu 엔드포인트도 없으므로, 여기의 어떤 내용도 이를 제공하겠다는 제안으로 해석되어서는 안 됩니다.

이 상황에서 카탈로그가 유용한 점은 실험의 나머지 절반이다. 이 모델이 비교 대상으로 삼는 모델들은 공급자 정가로 마크업 없이 하나의 키를 통해 접근할 수 있으며, 이는 동일한 어려운 작업을 해당 모델들로 실행하고 게시된 점수 대신 완료율을 비교할 수 있다는 뜻이다. 자동 장애 조치는 두 번째 역할을 한다: 가동 시간 이력이 없는 프리뷰가 요청 경로를 떠받치는 유일한 요소일 필요는 없는데, 왜냐하면 라우팅된 폴백이 3시간째에 멈출 때 호출을 대신 처리할 수 있기 때문이다.

이번 주에 돌려볼 가치가 있는 평가는 규모가 작다. 여러분이 가진 장기 실행 에이전트 작업 중, 평소라면 단 한 번의 무인 실행에 맡기지 않을 작업 열 개를 골라 각각을 ERNIE 5.5 Flash Preview와 이미 신뢰하는 두 모델에 통과시켜 보라. 완료되었는지, 출력 토큰을 몇 개나 소모했는지, 비용이 얼마였는지를 기록하라. 그러면 Baidu가 빠뜨린 두 숫자가 나온다: 작업당 토큰 수와 완료된 작업당 비용. 출시 글에 있는 나머지 모든 것, 46.5와 11시간을 포함한 모든 것은 다른 사람의 머신에서 돌린 다른 사람의 하네스다.

의문을 해소할 것은 또 하나의 데모 영상이 아니다. 그것은 Apache 2.0 릴리스 날짜, 지식 컷오프가 명시된 모델 카드, Artificial Analysis가 작성한 Artificial Analysis 항목, 그리고 이 수치와 대조할 수 있는 두 번째 체크포인트다. 바이두는 엔드포인트와 함께 공개했어야 할 이야기를 공개했다. 가장 어려운 작업을 맡겨 달라고 방금 초대한 사람들에게 바이두가 빚진 다음은, 가장 어려운 작업들이 어떻게 됐는지에 대해 바이두의 말만 믿지 않아도 되게 해주는 산출물이다.