Ling-3.1-flash-1019, 이제 오픈소스로 공개: 574 GB, MIT, 그리고 256K에 대한 현실 점검

10월 27일 05:46 UTC에 Ant Group의 Ling 팀은 Hugging Face 저장소를 만들었습니다. 이름은 Ling-3.1-flash-1019이며, MIT 라이선스로 총 573.8GB에 달하는 54개의 safetensors 샤드를 채웠습니다. 그 옆에는 Ling-3.1-flash-base가 있는데, 추가 학습을 위해 만들어진 1.14TB BF16 체크포인트이며, 두 모델 뒤에는 Ling-3.1-flash가 있습니다. 이번 빌드는 이 모델의 포스트 트레이닝 리비전입니다. 5일 전 Ant는 점수만 공개했습니다. Artificial Analysis Intelligence Index v4.3.2에서 44점으로, 41점에서 상승한 수치였으며 가중치와 API를 약속했습니다. 오늘 그 약속에는 파일 목록이 생겼고, 이로써 Ant의 평가 파이프라인 밖에 있는 사람이 숫자를 읽는 대신 확인할 수 있는 첫날이 되었습니다.

그 격차가 바로 이야기의 핵심이며, 이는 양방향으로 작용한다. 아티팩트를 출시하기 전에 벤치마크를 발표하는 연구소는 신뢰를 바탕으로 받아들여 달라고 요구하는 셈이고, 그로부터 5일 뒤 574GB, 허용적 라이선스로 아티팩트를 출시한 연구소는 적어도 반박할 수단은 내놓은 셈이다. 이제 흥미로운 질문은 더 이상 점수에 관한 것이 아니다. 그것은 다운로드 안에 무엇이 들어 있는지, 이를 서빙하는 데 얼마가 드는지, 그리고 모델 카드에 적힌 1M-token 컨텍스트가 실제로 얻는 컨텍스트인지에 관한 것이다.

저장소에 실제로 무엇이 들어 있나요?

1019 리포지토리는 얇은 어댑터나 델타가 아닙니다. 완전한 체크포인트입니다: 각각 약 10.7GB인 54개의 가중치 파일, 토크나이저, 채팅 템플릿, 그리고 커스텀 모델링 코드 (BailingMoeV3ForCausalLM)에는 trust_remote_code가 필요합니다. 배포된 구성은 Ling 라인이 3.1부터 사용해 온 하이브리드 선형 MoE 아키텍처 위에 FP8 양자화 방식(E4M3, 128×128 블록 스케일링)을 선언합니다:

• 전체 및 활성 파라미터 — 전체 560B, 토큰당 활성 25B, Ling-3.1-flash와 동일한 수치입니다.

• 레이어 — 총 72개: 7:1 비율로 63개의 KDA 선형 어텐션 레이어와 9개의 게이트형 MLA 레이어, 그리고 4개의 덴스 레이어가 있습니다.

• 전문가 — 512개 라우팅, 토큰당 8개 활성화, 1개 공유.

• 어휘 — 157,184 토큰; 은닉 크기 4,096.

• 차지하는 용량 — 54개 샤드에 걸친 573.8GB의 safetensors이며, 10월 27일 저장소 파일 목록을 기준으로 저희가 집계한 수치입니다.

기본 모델은 다른 종류의 아티팩트입니다. Ling-3.1-flash-base는 10월 25일에 만들어졌으며 121개 파일과 1.14TB의 BF16 가중치를 담고 있습니다. FP8로 양자화되지 않았기 때문에 정렬된 체크포인트보다 약 두 배 큽니다. 모델 카드는 이를 Ling-3.1-flash의 기본 체크포인트로서 지속 사전 학습, 도메인 적응 및 사후 학습 연구를 위한 것이라고 설명하며, 정렬 없이 직접 채팅하거나 안전이 중요한 용도로 사용하도록 의도된 것이 아니라고 분명히 밝힙니다. 두 리포지토리 모두 MIT 태그를 달고 있습니다.

44, 그리고 Ant가 측정하지 않은 부분

Artificial Analysis는 Ling-3.1-flash-1019를 자사의 Intelligence Index에서 44점으로 기재했으며, 오늘 우리가 확인한 페이지에서 122개 모델 중 4위를 차지했습니다. 또한 해당 모델 페이지에는 평가가 Artificial Analysis에 의해 독립적으로 측정되었다고 명시되어 있습니다. 이는 이 수치가 지금까지 보여준 가장 강력한 형태이며, 출시 표의 나머지 부분과 분리해서 볼 가치가 있습니다.

벤치마크별 변화폭은 독립적 재실행이 아니라 Ant 자체 모델 카드에서 나온 것입니다. AA-Briefcase는 약 1,400에서 1,524 Elo로, AutomationBench-AA는 62%에서 68%로, CritPt는 18%에서 26%로, SciCode는 54%에서 57%로 상승했습니다. 이 벤치마크 중 두 가지인 AA-Briefcase와 AutomationBench-AA는 Artificial Analysis 지수의 구성 요소이므로, 지수 수치와 벤더 표는 서로 독립적인 증거가 아닙니다. 이들은 두 해상도에서 같은 주장입니다. 누군가 하네스와 시드를 공개할 때까지 44는 AA가 측정한 것으로, 전/후 쌍은 벤더 보고로 간주하십시오.

두 번째 비대칭이 있다. 측정 당시 Artificial Analysis는 1019 빌드에 대해 공개적으로 이용 가능한 API를 기록하지 않았고, 해당 모델의 출력 속도 필드는 여전히 비어 있다. 따라서 오늘날 이 벤치마크를 재현하려면 574 GB를 다운로드해 직접 실행하는 방법밖에 없다. 이는 이번 릴리스에 대한 불만이 아니라, "open"이 무엇을 바꾸는지에 대한 설명이다. 오늘 이전에는 누구도 그 점수를 재현할 수 없었다. 오늘 이후에는 하드웨어를 갖춘 누구나 재현할 수 있다.

세 개의 포인트는 토큰으로 구매됩니다.

이 지수는 품질 측정치이지 효율 측정치는 아니며, 이번 릴리스의 효율 측면은 그중 가장 보기 좋지 않은 부분이다. Artificial Analysis는 1019 실행에서 350M 출력 토큰을 측정했고 Ling-3.1-flash는 220M이었으며 — 동일한 스위트를 완료하는 데 약 59% 더 많은 토큰을 생성한 것 — 새로운 빌드는 장황함에서 48개 중 48위로 평가했고, 중앙값 모델은 140M이다. 이 지수를 실행하는 비용은 작업당 $1.49로, 이전 모델은 $1.01이다.

그중 일부는 Ant 자체 요금표로 계산할 수 있는 산술이다. 백만 출력 토큰당 0.90달러라면 350M 토큰은 출력 비용 315달러이고, 220M은 198달러다. 입력 토큰 하나나 캐시 읽기를 세기도 전에 이미 117달러 차이다. 토큰당이 아니라 작업당으로 예산을 잡는 팀에게 "무료" 체크포인트 업그레이드는 지수 3포인트 상승을 위해 청구서가 47% 늘어나는 것에 가깝다. 그 거래가 좋은지는 전적으로 실패한 작업이 당신에게 얼마의 비용을 초래하는지에 달려 있으며, 이는 어떤 리더보드도 답하지 않는 질문이다.

설정에서 컨텍스트 윈도는 256K입니다.

모델 카드에는 1M 토큰 컨텍스트라고 나와 있습니다. 하지만 배포된 구성은 다른 내용을 말합니다. 세 저장소 모두에서 — 1019, Ling-3.1-flash 및 base — config.json은 max_position_embeddings를 262,144로, rope_scaling을 null로 설정하며, RoPE theta는 6,000,000입니다. 따라서 이 가중치를 기본 SGLang 또는 vLLM으로 로드하면 100만 개가 아니라 256K 위치를 제공합니다. 단, 운영자가 저장소에 포함되지 않은 스케일링 구성을 제공하지 않는 한 그렇습니다.

이것은 공개된 구성 파일에 대한 우리의 해석이며, Ant가 한 발언이 아닙니다. 호스팅된 Ling API가 서버 측에서 스케일링 체계를 적용해 실제로 1M을 제공할 가능성은 있지만, 오픈 웨이트에는 그것이 포함되어 있지 않습니다. 이는 새로운 불일치도 아닙니다. 10월 15일 Ling-3.1-flash 릴리스도 동일한 262,144 설정에 대해 동일한 1M 주장을 담고 있었습니다. 백만 토큰 워크로드에 맞춰 하드웨어를 산정하는 사람이라면 누구든 확정하기 전에 자체 스택에서 상한을 테스트해야 합니다. 중요한 숫자는 소개문에 있는 숫자가 아니라 서버가 받아들이는 숫자이기 때문입니다.

서빙하기: H200 8개, GB300 4개, 그리고 하나의 복사-붙여넣기 함정

Ant는 {{1}}SGLang{{/1}}을 권장하고 {{2}}데이-0 이미지{{/2}}인 {{3}}lmsysorg/sglang:dev-ling-3.1-flash{{/3}}를 공개했으며, 여기에는 {{4}}MTP 추측 디코딩{{/4}}과 {{5}}Hopper 디코드 최적화{{/5}}가 포함됩니다. 문서화된 {{6}}참조 구성{{/6}}은 {{7}}TP8 및 EP8로 구성된 H200 GPU 8개{{/7}}이며, {{8}}GB300 4개{{/8}}에서는 카드에 {{9}}--tp 4 --ep 4{{/9}}를 사용하라고 나와 있습니다. {{10}}vLLM 레시피{{/10}}도 포함되어 있으며, {{11}}텐서 병렬화 8{{/11}}, {{12}}전문가 병렬화{{/12}}, {{13}}프리픽스 캐싱{{/13}} 및 {{14}}추측 토큰 3개{{/14}}를 사용합니다. 두 환경 플래그 — {{15}}SGLANG_ENABLE_FP8_BLOCK_GEMV{{/15}} 및 {{16}}SGLANG_ENABLE_FUSED_KDA_OUTPUT_QUANT{{/16}} — 는 {{17}}약 10% 더 빠른 배치-1 디코드{{/17}}를 {{18}}Hopper{{/18}}에서 제공한다고 주장됩니다.

메모리 사용량은 하드웨어 목록을 설명해 줍니다. FP8 가중치 573.8GB 기준으로, 체크포인트는 H200 8개(HBM 1,128GB)에서 약 550GB, GB300 4개(1,152GB)에서 약 578GB의 여유 공간을 남깁니다. 이는 가중치와 정상 작동하는 KV 캐시에는 충분하지만, 긴 컨텍스트를 방심하고 다뤄도 될 만큼 충분하지는 않습니다.

Quickstart에는 하루를 날릴 수 있어 짚어둘 만한 함정도 있습니다. 1019 모델 카드 자체의 SGLang 명령은 --model-path inclusionAI/Ling-3.1-flash를 전달하고, 클라이언트 예제는 "model": "Ling-3.1-flash"를 전송합니다. 그대로 따라 하면 해당 레시피는 44점 빌드가 아니라 41점의 이전 버전을 로드합니다. 경로를 inclusionAI/Ling-3.1-flash-1019로 명시적으로 지정하고 서빙되는 모델 이름을 고정하세요. 그렇지 않으면 "1019"에 대한 첫 벤치마크는 오래된 체크포인트에 대한 벤치마크가 될 것입니다.

Ling-3.1-flash-base가 무엇을 위한 것인지 — 그리고 무엇이 아닌지

베이스 릴리스는 모델을 호출하기보다 직접 학습시키는 사람에게 두 릴리스 중 더 중대한 쪽이다. MIT 라이선스의 1.14 TB BF16 체크포인트는 동일한 560B/25B 아키텍처를 갖추고 있어, 연구실이 거부 행동을 되돌려야 하는 채팅 정렬 모델에서 시작하지 않고도 지속 사전 학습, 도메인 적응, 지도 미세 조정, 선호도 최적화, 증류 실험, 장문맥 MoE 연구를 위한 합당한 출발점을 제공한다.

제공하지 않는 것은 44에 대한 레시피입니다. 카드는 베이스를 Ling-3.1-flash의 베이스 체크포인트라고 설명하며, 1019 빌드의 사후 학습 전 스냅샷이라고는 하지 않습니다. 또한 두 저장소 어디에도 사후 학습 데이터, 선호도 세트 또는 RL 구성이 포함되어 있지 않습니다. 측정된 모델을 원한다면 측정된 모델을 다운로드하세요. 직접 구축하려는 경우, 베이스는 사전 학습 비용을 아껴 주지만 정렬 작업까지 아껴 주지는 않습니다. 그리고 잘 튜닝된 베이스와 벤더의 최고 사후 학습 체크포인트 사이의 격차는 보통 3포인트 인덱스 델타가 시사하는 것보다 더 큽니다.

574GB를 선택해야 할까요?

이미 H200 8대 또는 GB300 4대를 운영 중이고, 워크로드가 에이전트 기반 또는 다단계이며, MIT 라이선스가 실제로 직면한 법적 장애를 해소해 준다면 다운로드하세요.

• 44를 직접 재현해야 한다면 다운로드하세요 — 이제는 가능하지만, 10월 22일에는 불가능했습니다.

• 기본으로 1M 컨텍스트가 제공될 거라고 기대했다면 이 항목은 건너뛰세요. 먼저 256K 구성으로 테스트해 보세요.

• 경제성이 작업당 기준이고 지연에 민감하다면 건너뛰세요. 59% 토큰 증가는 실질적인 처리량 비용이며, 1019의 독립적인 출력 속도 수치는 아직 없습니다.

• 포스트트레이닝 파이프라인이 있을 때만 베이스에서 시작하세요. 그것은 토대이지 지름길이 아닙니다.

이 상황에서 OrcaRouter의 역할을 솔직하게 설명하자면, 우리는 Ling-3.1-flash-1019를 제공하지 않습니다. 우리가 판매하는 것은 그 결정의 다른 측면입니다 — 공급자 정가에 0% 마크업으로 200개 이상의 호스팅 모델을 하나의 키로 이용, 따라서 "1019가 내가 이미 운영 중인 것보다 나은가"라는 질문에 모든 기준 모델마다 별도 계약을 체결하지 않고도 답할 수 있습니다. 자동 페일오버와 라우팅 DSL은 승자를 선택한 다음에야 중요해집니다. 그것들은 승자를 고르는 데에는 도움이 되지 않습니다.

다음에 볼 콘텐츠

이 릴리스가 시간이 지나도 가치를 유지할지는 세 가지가 결정할 것이다. 첫째는 독립적인 처리량이다. Artificial Analysis에는 1019의 출력 속도 수치가 없으며, 초당 토큰 수를 처음 공개하는 제3자 제공업체가 또 하나의 지수 점수보다 생산 적합성에 대해 더 많은 것을 알려줄 것이다. 둘째는 1M 컨텍스트 스케일링 구성이 저장소나 SGLang 쿡북에 등장하는지 여부다. 그 전까지 카드의 대표 수치는 그 밑에 256K 구현이 깔린 주장일 뿐이다. 셋째는 커뮤니티가 이 베이스로 무엇을 하느냐다. 좁은 도메인에서 44를 능가하는 파인튜닝은 이 가중치를 공개한 것이 출시 당시의 점수보다 더 가치 있었음을 보여주는 가장 강력한 증거가 될 것이다.