ERNIE 5.5 Flash 타이틀 카드: 'ERNIE 5.5 Flash: Blackwell 전용 FP4 경로가 채팅 모델보다 먼저 등장', 칩: 'SGLang PR #51236 · 2026년 11월 18일 개설', 'MXFP4 전문가, SM100 전용', '채팅 템플릿이 Python에서 렌더링됨', '채팅 체크포인트: 미출시'. 하단 문구: '출처: sgl-project/sglang PR #51236, 공개·미병합 상태.'
Guides & Insights

ERNIE 5.5 Flash: Blackwell 전용 FP4 경로가 채팅 모델보다 먼저 등장하다

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

공개된 가장 구체적인 것은ERNIE 5.5 Flash에 관한 이번 주 오류 메시지다. 2026년 11월 18일 SGLang 저장소에 열린 525줄짜리 풀 리퀘스트 안에는 단호한 거부가 담겨 있다: --moe-a2a-backend megamoe는 SM100 GPU가 아닌 모든 대상에서 거부된다. 원래라면 SwiGLU를 계산할 커널이 있는데 이 모델의 전문가 모듈은 SiTU를 사용하기 때문이다. 그 줄과 PR #51236의 나머지 내용은 ERNIE 5.5 Flash의 채팅 릴리스가 — ERNIE 5.5 Flash Base 체크포인트(Baidu가 11월 5일 공개)와 ERNIE 5.5 Flash Preview 엔드포인트(11월 11일 개설)와는 달리 — 어떻게 서빙될 예정인지에 대한 첫 공개 설명이다. 모델 자체는 아직 나오지 않았다. 이제 그 서빙 계약은 나와 있다.

이 글은 출시 보도가 아니라 지금까지 알려진 내용을 정리한 글입니다. 아래의 모든 내용은 공개되어 있지만 아직 병합되지 않았고 리뷰되지 않은 풀 리퀘스트 하나, 이전 Base 지원과 함께 작성된 SGLang 문서, 그리고 Baidu가 직접 공개한 페이지에서 나온 것입니다. 여기 있는 어떤 내용도 다운로드 가능한 채팅 체크포인트에 대해 실행해 본 것이 아닙니다. 그런 체크포인트는 다운로드할 수 없기 때문입니다. 숫자가 Baidu의 것인 경우에는 Baidu의 것으로 표시했습니다.

풀 리퀘스트가 실제로 추가하는 것

PR {{1}}#51236{{/1}}은 "{{2}}[Feat] ERNIE-5.5-Flash: Python 채팅 템플릿 인코딩 및 FP4 MegaMoE 서빙 추가{{/2}}"라는 제목으로 기여자 {{3}}chang-wenbin{{/3}}이 {{4}}11월 18일 12:12 UTC{{/4}}에 열었습니다. 이 PR은 {{5}}14개 파일{{/5}}을 건드리며 {{6}}525줄{{/6}}을 추가하고 {{7}}24{{/7}}줄을 삭제합니다. {{8}}승인은 없고{{/8}}, CI 실행은 {{9}}레이블이 지정될 때까지 모두 건너뛰어졌으며{{/9}}, 설명의 {{10}}정확도 테스트{{/10}}와 {{11}}속도 테스트{{/11}} 섹션은 모두 {{12}}채워지지 않은 템플릿 주석{{/12}}입니다. 증거로 볼 때 이 점은 중요합니다: 이것은 {{13}}작성자가 필요하다고 믿는 코드{{/13}}이지, {{14}}누군가 검증한 코드{{/14}}가 아닙니다.

이는 2주 만에 네 번째 ERNIE 5.5 풀 리퀘스트입니다. #48546은 SGLang cookbook에 배포 레시피를 추가했고 Base 가중치가 올라온 날인 11월 5일에 병합되었습니다. #48547은 모델 자체—Ernie5_5_MoeForCausalLM, 어텐션 백엔드, KV 캐시 풀, DSpark 드래프트 모듈—를 추가했고 11월 6일에 병합되었습니다. #49807은 11월 11일에 NVIDIA LiteTopK 프리필을 "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1"로 확장했으며 아직 열려 있습니다. 11월 18일 PR은 네 개 중 Base 체크포인트와 전혀 무관한 첫 번째입니다.

채팅 템플릿은 Python이며, 이는 누가 그것을 실행할 수 있는지를 바꿉니다.

ERNIE 5.5 Flash 체크포인트는 채팅 템플릿을 Jinja 문자열이 아니라 Python으로, PR에서 ErnieChatTokenizer라고 명명한 토크나이저 클래스에 담아 제공할 수 있습니다. SGLang의 일반 경로는 토크나이저 구성의 Jinja 템플릿에 대해 apply_chat_template을 호출하여 프롬프트를 렌더링하지만, 새로운 ernie5_5 채팅 인코딩은 체크포인트 자체의 토크나이저를 대신 호출하며 아키텍처 문자열 또는 ernie5_5_moe 모델 유형에서 자동으로 자신을 판별합니다. 실질적 결과는 PR 자체의 표현에 있습니다. 토크나이저는 --trust-remote-code로 로드해야 하며, --skip-tokenizer-init으로 채팅을 서빙하는 것은 설명이 포함된 오류와 함께 즉시 거부됩니다.

그것은 독자가 실제로 대응할 수 있는 배포 제약입니다. 프롬프트를 Python으로 렌더링하는 모델은 요청 시점에 체크포인트 저장소의 코드를 실행하므로, 에어갭 환경에서 실행하거나 강화된 이미지 내부에서 실행하거나 원격 코드를 금지하는 정책 뒤에서 실행하는 사람은 토크나이저를 직접 포함(vendor)하거나 해당 플래그를 받아들여야 합니다. Base 체크포인트에는 이 문제가 없습니다. 공개된 tokenizer_config.json에는 채팅 템플릿이 전혀 없고 단순한 PreTrainedTokenizerFast를 선언하는데, 이는 completions 엔드포인트를 통해 제공되는 체크포인트에서 기대할 수 있는 모습입니다.

같은 파일에 있는 세 가지 사소해 보이는 세부 사항은 보기보다 중요하다. 이 어댑터는 인라인 시스템 메시지를 지원한다 — 대화 중간의 시스템 턴을 첫 메시지에 병합하지 않고 제자리에 렌더링한다 — SGLang 트리에서 다른 두 인코딩만 이를 수행한다. continue_final_message에는 렌더러의 네이티브 이어쓰기를 사용하는데, 일반적인 접두사 추가 경로는 열린 think 블록 안의 접두사를 버리기 때문이다. 그리고 렌더러가 거부할 chat_template_kwargs를 의도적으로 버리는데, ErnieChatTokenizer는 알 수 없는 키워드에 예외를 발생시키는 반면 Jinja 템플릿은 이를 조용히 무시하기 때문이다 — PR에서는 DeepSeek 스타일 thinking을 전송하는 프런트엔드를 깨지는 사례로 지목한다.

이어지는 버그 수정은 diff에서 가장 많은 것을 드러내는 한 줄이다. SGLang의 요청 핸들러는 thinking 키를 읽고 기본값을 off로 두며, ernie55 추론 파서는 enable_thinking을 읽고 기본값을 on으로 둔다. 따라서 핸들러의 기본값을 주입하면 추론을 기대하는 추론 파서 아래에서 thinking-off 프롬프트가 렌더링되었고, 모델의 전체 답변이 reasoning_content로 파싱되면서 content는 비어 있게 되었다. 그것이 바로 11월 11일부터 Preview 엔드포인트 사용자들이 보고해 온 실패 모드와 정확히 일치한다 — 평범한 답변이 빈 content로 도착하는 것 — 그리고 그 수정은 해당 채팅 체크포인트가 기본적으로 사고한다는 것을 암시한다.

추론과 도구 호출도 각각의 파서가 자동으로 선택됩니다. 추론에는 <ernie:think> 태그를 읽는 ernie55가, 도구 호출에는 <ernie:tool_call>을 읽는 ernie55가 선택됩니다. 어댑터의 독스트링에는 텍스트, 도구 호출, 사고 토글이 지원되며 템플릿의 멀티모달 분기는 "추후 업그레이드를 위해 남겨 둔다"고 명시되어 있습니다. 따라서 이 PR 기준으로 채팅 모델은 Baidu가 다른 곳에서 늘 설명해 온 그대로, 즉 텍스트 모델로 제공됩니다.

4비트 전문가들이 Blackwell으로 가는 빠른 경로를 고정하는 이유

PR의 후반부는 MXFP4에 저장된 라우티드 전문가를 다루며, GPU 전반에 걸친 DeepGEMM의 MegaMoE all-to-all을 통해 w4a8 — 4비트 가중치, 8비트 활성화 — 로 실행됩니다. 두 가지 구현 선택은 모델 자체에 대한 정보를 담고 있습니다.

• 양자화는 safetensors 헤더에서 자동 감지됩니다. 체크포인트에 routed_experts_quant_method 키가 없기 때문입니다. 이는 해당 필드가 없는 공개된 Base config와 부합합니다. 로더는 파일 헤더에서 expert dtype을 읽고, 그로부터 is_fp4_experts를 설정합니다.

• MegaMoE 경로는 SM90과 ROCm에서 성능 저하가 아니라 거부됩니다. SM90 FP8 및 ROCm MegaMoE 커널이 SwiGLU를 하드코딩하는 반면 이 전문가들은 SiTU로 활성화되기 때문입니다. PR의 주석은 DeepGEMM이 내장하는 정확한 상수인 SiTU 베타 4.0과 선형 베타 25.0을 못박습니다. Base 체크포인트 자체의 config.json은 activation_situ_beta: 4.0 및 activation_situ_linear_beta: 25.0을 선언하므로, 커널 상수와 가중치가 일치합니다 — 이는 유출이 추측이 아니라 엔지니어링으로 읽히게 하는 종류의 교차 검증입니다.

막으려는 실패 모드는 조용한 쪽이다. SiTU 가중치에 대해 SwiGLU를 계산하는 SM90 커널은 크래시하지 않았을 것이다. 대신 유창하지만 살짝 잘못된 텍스트를 반환했을 것이다. 시작을 거부하는 것이 더 나은 결과이며, 이것이 FP4 사안이 보편적이 아니라 하드웨어에 따라 제한되는 이유다.

그것이 상업적으로 의미하는 바는 "ERNIE 5.5 Flash에 Blackwell이 필요하다"는 말보다 범위가 좁다. 그렇지 않다. Base 체크포인트용으로 작성된 SGLang 쿡북은 B300, GB300, B200, GB200, H100에서의 단일 노드 레시피를 공개하며, H100 FP8 레시피는 FP8 가중치가 약 280GB이기 때문에 8개 GPU를 사용한다. FP4 experts 경로는 SM100 부품에서만 존재하는 것이며, SGLang은 FP4 체크포인트를 본 적이 없기 때문에 해당 체크포인트에 대한 메모리 표를 공개하지 않았다. 보게 되는 모든 "B200 하나에 들어간다"는 계산은 — expert 바이트를 절반으로 줄이면 280GB 모델이 150GB 근처가 된다는 명백한 추정을 포함해 — 레시피가 아니라 추정으로 취급하십시오.

오늘 실제로 다운로드할 수 있는 것은 무엇인가요?

• ERNIE 5.5 Flash Base — 2026년 11월 5일부터 오픈 웨이트로 공개되었으며, FP8 및 BF16 형식으로 Hugging Face와 ModelScope에서 제공됩니다. 총 280B 파라미터, 활성 14B, 43개 레이어(밀집 FFN 1개, MoE 42개), 2,048차원 잠재 공간에서 top-10과 공유 전문가 1개를 사용하는 512개의 라우팅 전문가로 구성됩니다. 하이브리드 어텐션: 고도로 압축된 어텐션 37개 레이어, DSA 희소 어텐션이 적용된 MLA 6개 레이어. 라이선스는 ERNIE 5.5 Flash Base Model License Agreement v1.0이며 Apache 2.0이 아닙니다.

• ERNIE 5.5 Flash Preview — 11월 11일부터 API 전용으로, Baidu Qianfan에서 제공되며, 100만 토큰 컨텍스트와 분당 300회 요청 및 300만 토큰의 속도 제한이 명시되어 있습니다. Baidu의 출시 글에 따르면 가중치는 "곧 Apache 2.0에 따라 오픈소스로 공개될 예정"이라고 합니다. 오늘 현재까지 공개되지 않았습니다. Preview의 무료 변형은 11월 10일부터 타사 카탈로그를 통해 호출할 수 있었습니다.

• ERNIE 5.5 Flash — 이 풀 리퀘스트에서 다루는 모델입니다. 아직 출시되지 않았습니다. SGLang의 cookbook에는 "ERNIE-5.5-Flash(FP8 / FP4 / BF16, 출시 예정), 추론, 도구 호출 및 번들로 제공되는 DSpark 드래프트 포함"으로 기재되어 있고, Qianfan의 모델 목록에는 ERNIE 5.5 항목이 정확히 하나, 즉 ernie-5.5-flash-preview만 있습니다. 어떤 ERNIE 5.5 모델에도 Artificial Analysis 페이지가 없으며, arena 리더보드에서 가장 최신 ERNIE 행은 1467점의 ERNIE 5.1입니다. 따라서 이 모델에 붙은 모든 성능 수치는 여전히 바이두 자체 측정치입니다.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

PR 전체를 놓고 볼 때 정직한 해석은 이것입니다. 이 PR은 아무도 다운로드할 수 없는 체크포인트를 위해 작성되었습니다. FP4 감지 코드, FP8 양자화 구성으로 main_proj를 구성하고 로드 시 BF16 feature_projection을 양자화하는 DSpark 드래프트 로더, 첫 요청 때가 아니라 시작 시 측정된 0.8초 비용을 치르는 encode-table 워밍업까지 — 이 모든 것은 코드 주석에서 "the 1110 checkpoint"라고만 언급된 아티팩트을 대상으로 합니다. Baidu는 그 아티팩트를 발표했지만 공개하지는 않았습니다.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

오늘 모델을 선택하는 사람에게 이것이 얼마나 가치가 있는지

구매 결정으로서는 거의 의미가 없고, 일정 계획으로서는 상당한 의미가 있다. ERNIE 5.5 Flash를 후보로 만들 릴리스는 이 풀 리퀘스트가 아니라, 채팅 체크포인트에 Baidu가 매길 가격과 독립 평가 하나를 더한 것이다. 이 PR이 확정하는 것은 자체 호스팅을 계획한다면 선택하게 될 배포의 형태다. 원격 코드가 필요한 Python 토크나이저, SM100 하드웨어를 요구하는 FP4 고속 경로, 같은 체크포인트 패밀리에 묶인 DSpark 추측 드래프트, 그리고 사고 모드가 켜져 있다고 가정하는 추론 파서다. "우리는 H100이 있으니 저렴한 양자화 버전을 돌리면 된다"고 가정하던 팀들은 이제 저렴한 양자화 버전이 바로 자신들의 하드웨어가 감당할 수 없는 버전임을 알게 되었다.

엔드포인트든 아직 병합되지 않은 서빙 코드든, 그중 하나에 프로덕션 경로를 걸고 싶지 않다면 합리적인 방식은 모델이 검증되는 동안 모델을 라우팅 계층 뒤에 두는 것입니다. OrcaRouter의 카탈로그에는 ERNIE 모델이 전혀 포함되어 있지 않습니다 — 모델 목록은 218개 항목을 반환하며 Baidu 행은 없습니다 — 따라서 오늘 여기서 호출할 수 있다는 주장은 아닙니다. 이런 상태의 모델에 대해 플랫폼이 제공하는 것은 실험 설계입니다: 200개 이상의 다른 모델 앞에 있는 하나의 OpenAI 호환 엔드포인트, 그 단일 엔드포인트 뒤에서 여러 제공자에 걸친 자동 장애 조치, 그리고 제공자 정가가 그대로 전달되는 0% 마크업, 따라서 공급업체의 가격 재책정은 마진이 적용된 후가 아니라 그것이 발생하는 당일에 지불하는 것입니다. ERNIE 5.5 Flash가 나중에 이미 라우팅하고 있는 제공자에 출시되면, 이를 시도하는 것은 두 번째 통합이 아니라 모델 문자열 변경이 됩니다.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

이것을 릴리스 스토리로 만들려면 무엇이 필요할까요?

대략 상황을 얼마나 바꿀지 순서대로 네 가지입니다. CI와 검토된 정확도 실행이 포함된 풀 리퀘스트 병합은 "누군가 이걸 작성했다"를 "SGLang이 이를 서빙할 수 있다"로 바꿀 것이며, 이는 11월 6일에 앞선 Base 지원이 만들어낸 차이입니다. Hugging Face에 MXFP4 체크포인트가 등장하면 B200이 있는 사람이라면 누구나 PR의 FP4 부분을 테스트할 수 있게 될 것입니다. Baidu가 Preview용으로 약속한 Apache 2.0 가중치는 Base 릴리스가 열어 둔 라이선스 문제를 해결할 것입니다. 그리고 첫 독립 점수, 즉 Artificial Analysis 페이지, 순위가 매겨진 아레나 항목, Baidu가 아닌 누군가가 만든 재현 가능한 에이전트 벤치마크가 벤더 표를 증거로 대체할 것입니다.

그때까지 흥미로운 질문은 ERNIE 5.5 Flash가 좋은지 여부가 아니다. 그것은 모델이 서빙 계약을 완전히 명세한 채로, 가중치는 아직 공개되지 않은 상태로 등장할 수 있는지, 그리고 그 일이 발표를 보고 하드웨어를 계획하는 사람들에게 어떤 영향을 미치는지이다. 이번 주의 답은 '그렇다'이며, 그 계약은 Python으로 된 채팅 템플릿, 한 세대의 GPU에서 동작하는 4비트 전문가, 그리고 다른 어디에서도 시작하지 않겠다는 거부다. Baidu의 다음 수는 가중치이고, SGLang의 다음 수는 리뷰다.