RepGen-4B vs Intern-Decision-4B: 두 팀이 동일한 4B 베이스를 파인튜닝했지만 아무것도 합의하지 못했다

같은 체크포인트에서 갈라져 나온, 다섯 주 간격의 조용한 두 릴리스. microsoft/UserRepGen-4B는 2026년 10월 14일, 아무런 공지 없이 9.1GB bfloat16 저장소로 Hugging Face에 올라왔습니다; internlm/Intern-Decision-4B는 2026년 9월 26일 05:36:37 UTC에, 똑같이 예고 없이 0.8B와 2B도 함께 등장시킨 40초짜리 창 안에서 나타났습니다. 둘 다 Qwen3.5-4B의 LoRA 파인튜닝 모델이며, 둘 다 전혀 사용하지 않는 비전 타워를 달고 있으면서도 텍스트 전용이고, 둘 다 답변 대신 고정된 구조를 반환합니다 — 그리고 이 모델의 용도에 관해서는 둘 사이에 그보다 더 큰 이견이 있을 수 없습니다. Intern-Decision-4B는 토큰을 단 하나도 쓰지 않습니다. UserRepGen-4B는 토큰 외에는 아무것도 쓰지 않습니다. 이 비교의 나머지 모든 것은 그 단 하나의 분기에서 비롯됩니다.

한 명은 득점자이고, 다른 한 명은 작가입니다.

InternLM의 모델 카드는 자체 메커니즘에 대해 이례적으로 직설적이다: "이 API는 구조화된 후보 채점을 수행한다. generate()를 호출하거나 자유 형식 텍스트를 샘플링하지 않는다." 당신은 상태 하나, 이름이 지정된 질문들의 스키마, 그리고 후보 답변 집합을 넘긴다. 그것은 선택지들을 단일 토큰 기호에 매핑하고, 하나의 인과적 순방향 패스를 실행하며, 각 플레이스홀더 바로 앞 위치의 로짓을 읽고, 피팅된 온도 1.99241824를 적용한 뒤, 선택지당 보정된 확률을 반환한다. 단 한 번의 패스. 샘플링도, 디코딩 루프도, 텍스트도 없다.

RepGen-4B는 이를 뒤집는다. 완성된 대화를 넘겨주면, 두 개의 JSON 필드 — 작업 설명과 user_behavior 설명 — 에 걸쳐 최대 1,024토큰의 산문을 내놓는다. 그리고 그 반대 방향에 대해서도 모델 카드는 똑같이 직설적이다. 이 모델은 "시뮬레이션된 사용자 턴이 아니라 표현을 생성"하며, 사용자의 작업을 실행하지 않고, 시뮬레이터가 아니다.

둘을 나란히 놓고 보면 그 엔지니어링적 결과가 즉시 드러난다.

• 출력물의 가치 — Intern-Decision-4B는 임계값을 적용하고, 평균을 내고, 감사할 수 있는 숫자를 반환합니다. UserRepGen-4B는 오직 LLM 판정자만이 품질을 평가할 수 있는 문단을 반환하는데, 이는 바로 마이크로소프트가 평가한 방식이기도 합니다.

• 호출당 비용 — 고정된 프롬프트에 대한 단일 순방향 패스와 최대 1,024개의 생성된 토큰. 이것이 약 44밀리초와 전체 디코딩 실행 사이의 차이이며, 바로 이것이 표현 모델은 들어갈 수 없는 루프 안에 결정 모델이 자리할 수 있는 이유입니다.

• 의미가 깃든 곳 — InternLM은 정답이 이미 프롬프트에서 열거 가능해야 한다고 판단했기 때문에, 모델은 순위만 매기면 됩니다. Microsoft는 정답이 대화 속에 잠재해 있다고 판단했기 때문에, 모델이 작성해야 합니다. 순위 매기기는 범위가 정해져 있고 검증 가능합니다. 작성은 개방형이며 판단자가 필요합니다.

입력 상한, 그리고 그것이 베팅에 대해 말해주는 것

두 카드 모두 엄격한 한도를 공개하며, 이를 비교하면 두 팀이 같은 기본 모델을 얼마나 다르게 범위 설정했는지 가장 빠르게 확인할 수 있다.

Intern-Decision-4B는 8,192토큰을 초과하는 작업을 거부합니다. 그것은 잘림이 아니라 거부입니다 — 이 모델은 프롬프트에 완전히 서술할 수 있을 만큼 간결한 결정을 위한 것이라는 설계 선택입니다.

UserRepGen-4B는 9,216개 토큰 시퀀스로 학습됩니다. 대화를 포괄하는 최대 8,192개의 프롬프트 토큰에, 표현을 위한 1,024개의 완성 토큰이 더해집니다. 카드에서는 해당 길이를 넘어선 확장 컨텍스트 사용이 "이 릴리스에서는 지원되지 않는다"라고 덧붙이며, 장문 컨텍스트 성능은 별도로 벤치마킹된 적이 없다고도 합니다. 그래서 동일한 8,192토큰 상한이 양측에서 나타나는데, 이는 서로의 작업을 전혀 알지 못했을 두 팀이 독립적으로 도달한 결론입니다.

그 수렴이 바로 유용한 발견이다. 2026년 중반에 이 베이스 위에서 이루어진 4B 파인튜닝은 하나의 잘 구성된 프롬프트에 맞춘 구성 요소일 뿐, 긴 컨텍스트 엔진이 아니다. 두 릴리스 모두 이 점에 대해 솔직하다. 어느 쪽도 그것을 더 크게 광고된 윈도 뒤에 숨기지 않는다.

둘 다 캘리브레이션 이야기를 하나씩 발표했지만, 그 둘은 같은 이야기가 아니다

바로 이 대목에서 출처 확보가 까다로워진다. 두 평가는 서로 비교할 수 있는 기준이 아니며, 어느 쪽도 자신의 연구실 밖에서 재현된 적이 없기 때문이다.

Intern-Decision-4B는 7개 스위트 벤치마크를 공개하며 평균 90.02점을 기록합니다. 이는 자체 표에서 가장 좋은 행으로, 84.68점의 Intern-Decision-2B와 79.38점의 Intern-Decision-0.8B보다 앞서며, 모두 InternLM의 하네스에서 측정되었습니다. 또한 캘리브레이션도 공개합니다. 브라이어 점수 0.347, 기대 캘리브레이션 오차 0.065입니다. 정확한 참조 분포를 사용한 별도의 96개 사례 파일럿은 적합된 온도가 적용된 후 0.628 Brier 및 0.213 ECE에서 0.550 및 0.089로 변합니다. 그 모든 수치는 벤더 자체의 것이며, InternLM 외부의 누구도 이를 검증하지 않았습니다.

RepGen-4B는 1~10점 심사 척도로 충실도 표를 공개한다 — best-of-1에서 4.95, best-of-3에서 6.02이며, 이는 기성품으로 사용한 GPT-5.5의 3.90과 4.90, 그리고 튜닝되지 않은 베이스의 3.41과 4.42와 비교된다. 이 수치들은 모두 Microsoft 자체에서 나온 것으로, GPT-5.4 mini가 시뮬레이터, 어시스턴트, 심사자 역할을 동시에 맡아 생성한 것이며, Microsoft 외부의 누구도 이를 검증하지 않았다.

중요한 비대칭은 점수가 아닙니다 — 점수는 서로 다른 척도에서 서로 다른 것을 측정합니다. 중요한 비대칭은 Intern-Decision-4B가 알려진 참조 분포에 대해 적절한 채점 규칙(proper scoring rule)을 공개하며, 이는 구조적으로 반증 가능하다는 점과, UserRepGen-4B가 LLM 판정 점수를 공개하며, 이는 다른 판정자를 실행해야만 반증할 수 있다는 점입니다. InternLM은 산술로 감사할 수 있는 모델을 만들었습니다. Microsoft는 다른 모델로 감사해야 하는 모델을 만들었습니다. 둘 다 기준선을 이겼다고 주장하고 있는 만큼, 이러한 감사 가능성의 차이는 당신이 둘 중에서 선택할 때 실제로 고려하는 부분의 일부입니다.

그중 하나만 출력하는 프라이버시 관련 발견 사항

Intern-Decision-4B의 카드에는 중대한 프라이버시 섹션이 없다. UserRepGen-4B의 카드에는 어떤 팀이라도 멈칫하게 만들 숫자가 들어 있다: 147명이 넘는 사용자에서, 네 개의 대화 중 어느 것이 같은 사람에게서 나온 것인지 고르도록 요청받은 선택기는 모델의 행동 설명을 사용해 51.02%를 기록했고, 전체 원본 대화를 사용했을 때는 44.22%, 무작위일 때는 25%였다. 압축된 표현은 그 사람을 식별한다, 더 잘그것이 파생된 자료보다

Microsoft는 이를 연결 가능성 위험으로 분류하며, 표현이 익명화된 데이터가 아니라고 분명히 말한다. 그것이 올바른 처리이며, 이는 의사 결정 모델을 포함해 모델 전체 범주에 적용되는 주의사항이다. 의사 결정 모델의 입력 자체도 사람들의 상황에 관한 대화다. 차이는 한 카드는 그렇게 말하고 다른 카드는 그렇지 않다는 것뿐이며, 그것은 한 모델이 안전하다는 것과 같지 않다.

둘 다 API는 아니지만, 둘이 공유하는 기반은

이 둘은 모두 엔드포인트가 아니라 다운로드입니다. Intern-Decision-4B는 한 번 로드한 뒤 재사용되는 Python DecisionEngine 클래스로 제공되고, 해당 데모 Space는 401을 반환하며, 해당 GitHub 링크는 404를 반환합니다. UserRepGen-4B는 양자화되지 않은 safetensors 파일 하나와 example.py를 제공합니다. OrcaRouter는 둘 중 어느 것도 제공하지 않습니다. 오늘 호스팅 API를 통해 둘 중 하나가 이용 가능하다고 말한다면, 그것은 사실이 아니라 계획을 설명하는 것입니다.

실제로 호출 가능한 것은 두 모델이 갈라져 나온 체크포인트입니다. Qwen3.5-4B 패밀리는 저희 카탈로그에 있습니다 — Qwen3.5-Flash는 백만 토큰 이상의 컨텍스트를 백만 입력 토큰당 $0.10, 백만 출력 토큰당 $0.40에, Qwen3.5-35B-A3B는 $0.057과 $0.459에, Qwen3.5-27B는 $0.086과 $0.688에 — 모두 동일한 키로, 모두 공급자의 정가 그대로 추가 비용 없이 제공됩니다. 이는 이 두 모델이 아닌 파이프라인 부분에 유용합니다. 시뮬레이션의 어시스턴트 쪽이나 의사 결정 호출 주변의 추론 단계는 하나의 엔드포인트를 통해 실행하면서 파인튜닝을 로컬에서 평가할 수 있습니다.

선택하는 방법

당신의 문제가 답을 열거할 수 있는 범위 한정 질문이고 초당 1만 번의 보정된 숫자가 필요하다면, Intern-Decision-4B는 여기서 그것을 해내는 유일한 모델이며, 이 모델이 결코 샘플링하지 않는다는 점은 한계가 아니라 기능입니다. 당신의 문제가 실제 사용자처럼 행동하는 시뮬레이터를 원하는 것이라면, UserRepGen-4B는 여기서 그것을 위해 훈련된 유일한 모델이며, GPT-5.5 대비 보고된 향상 폭의 크기가 관심을 가질 이유입니다. 누구도 상대 모델의 수치를 근거로 둘 중 하나를 선택해서는 안 됩니다. 둘은 결코 같은 것을 측정하지 않았기 때문입니다. 이 비교를 매듭지어 줄 것은 두 카드 중 하나에 대한 단 한 건의 외부 검증인데 — 그리고 몇 주 간격을 두고 완전히 조용히 출시된 두 릴리스의 경우, 어느 쪽도 그런 검증을 전혀 받은 적이 없습니다.

조용히 이루어진 두 번의 릴리스는 이런 부류의 모델이 얼마나 많은 부분이 문서 없이 출시되는지를 다시금 상기시켜 주며, 그로 인해 뒤따르는 실패들은 OrcaRouter AI 사고 아카이브에 수집되어 있는데, 각 항목에는 자체 출처, 심각도, 신뢰 등급, 이의 제기 여부 플래그가 함께 실려 있습니다.