「UserRepGen-4B vs Intern-Decision-4B - 同じベース、正反対の出力」という見出しが「どちらもファインチューニング済みのQwen3.5-4B。両者が同じ種類のものを書くことはない。」という大見出しの上に付いた、生成された2枚のカード比較。左のカード、UserRepGen-4Bには、2026年10月14日にひっそりと公開、taskとuser_behaviorのJSONを返す、生成は最大1,024トークン、公開された数学的指標はなし、入力上限は8,192プロンプトトークン、告知はなし、と記載されている。右のカード、Intern-Decision-4Bには、2026年9月26日にひっそりと公開、選択肢ごとの確率を返す、1回のフォワードパスでの生成はなし、公開された数学的指標はBrier 0.347とECE 0.065、入力上限は8,192を超えると拒否、告知はなし、と記載されている。フッターには「どちらの数値セットもベンダー自身が出したものである。」とある。OrcaRouterのロゴは右下に合成されている。
Engineering & Research

UserRepGen-4B vs Intern-Decision-4B:2つのチームが同じ4Bベースをファインチューニングしたが、何ひとつ一致しなかった

著者

Magnus Corvin

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

同じチェックポイントから分岐した、5週間隔てた2つの静かなリリース。microsoft/UserRepGen-4Bは2026年10月14日、9.1 GBのbfloat16リポジトリとして、何の告知もなくHugging Faceに公開された。internlm/Intern-Decision-4Bは2026年9月26日05:36:37 UTCに、0.8Bと2Bも同様に告知なしで生み出した40秒間の窓の中で現れた。どちらもQwen3.5-4BのLoRAファインチューンであり、どちらも決して使われることのないビジョンタワーを備えながらテキスト専用で、どちらも回答ではなく硬直した構造を返す——そして、そのモデルが何のためのものかについて、両者はこれ以上なく意見が食い違っている。Intern-Decision-4Bはトークンを一切書かない。UserRepGen-4Bはトークン以外の何も書かない。この比較における他のすべては、その一つの分岐から導かれる。

一方は得点者で、もう一方は書き手です

InternLMのモデルカードは、自身の仕組みについて異例なほど率直だ:「このAPIは構造化された候補スコアリングを行います。generate() を呼び出したり、自由形式のテキストをサンプリングしたりしません。」これに状態、名前付き質問のスキーマ、候補回答の集合を渡します。選択肢を単一トークン記号にマッピングし、1回の因果フォワードパスを実行し、各プレースホルダーの直前の位置でロジットを読み取り、適合させた温度1.99241824を適用し、選択肢ごとに較正された確率を返します。1回のパス。サンプリングなし、デコードループなし、テキストなし。

UserRepGen-4Bはそれを反転させる。完成した会話を渡す。すると最大1,024トークンの文章を2つのJSONフィールド——task descriptionとuser_behavior description——に分けて出力する。そしてカードは逆方向についても同じくらい率直だ。このモデルは「シミュレートされたユーザーのターンではなく表現を生成する」のであり、ユーザーのタスクを実行せず、シミュレーターでもない。

二つを並べてみれば、工学的な帰結はすぐに明らかになる。

• その出力にどれだけの価値があるか — Intern-Decision-4B は、閾値を設定し、平均を取り、監査できる数値を返します。UserRepGen-4B は、LLM ジャッジでしか採点できない段落を返しますが、それはまさに Microsoft が評価を行った方法です。

• 呼び出しあたりのコスト — 固定プロンプトに対する1回のフォワードパスと、最大1,024個の生成トークンとの比較です。これが約44ミリ秒と完全なデコーディング実行との違いであり、だからこそ意思決定モデルは、表現モデルが入り込めないループの中に収まることができるのです。

• 意味が宿る場所 — InternLMは、答えはプロンプト内ですでに列挙可能であるべきだと判断した。だからモデルは順位付けをするだけでよい。Microsoftは、答えは会話の中に潜在していると判断した。だからモデルはそれを書き出しなければならない。順位付けは有界で検証可能だ。書き出しは開放的で、審判を必要とする。

A generated two-column scoreboard headed "UserRepGen-4B vs Intern-Decision-4B - the scoreboard", titled "A scorer and a writer, from one checkpoint". The UserRepGen-4B column reads: output type two-field JSON prose; decoding up to 1,024 new tokens; calibration not published; latency claim not published; input limit 8,192 prompt tokens; eval scale 1-10 LLM judge. The Intern-Decision-4B column reads: output type calibrated distribution; decoding none, one forward pass; calibration Brier 0.347 and ECE 0.065; latency claim 44.16 ms mean on an RTX 4090; input limit refuses above 8,192; eval scale seven suites with a 90.02 average. A footer reads "Vendor-reported; no independent evaluation of either." The OrcaRouter logo is composited bottom-right.

入力の上限、そしてそれがベットについて教えてくれること

両方のカードがハード制限を公開しており、それらを比較することが、2つのチームが同じベースモデルをどれほど異なる形でスコープしたかを知る最速の方法です。

Intern-Decision-4Bは8,192トークンを超える作業を拒否する。それは切り捨てではなく拒否であり、プロンプト内で完全に述べられるほど簡潔な意思決定のためのモデルだという設計上の選択である。

RepGen-4Bは9,216トークンのシーケンスで学習されている。会話をカバーする最大8,192個のプロンプトトークンに加え、表現のための1,024個の補完トークンである。カードにはさらに、その長さを超える拡張コンテキストの使用は「このリリースではサポートされていない」と記されており、長文コンテキストの性能は別途ベンチマークされたことは一度もない。つまり、同じ8,192トークンの上限が双方に現れており、それぞれ独立に到達したもので、おそらく互いの作業を把握していなかったであろう2つのチームによるものだ。

その収束こそが有用な発見だ。2026年半ばにおいて、このベースモデルに対する4Bのファインチューニングは、単一の適切に整形されたプロンプト向けの規模のコンポーネントであり、長いコンテキストを扱うエンジンではない。両リリースとも、その点について正直だ。どちらも、より大きく宣伝されたウィンドウの裏にそれを隠してはいない。

両方ともキャリブレーションの話を発表したが、それらは同じ話ではない

A headless-browser capture of the Hugging Face model card for internlm/Intern-Decision-4B, showing the InternLM organisation, 86 likes, the image-text-to-text pipeline tag, the qwen3_5 and decision-making tags, and the card's opening line that Intern-Decision-4B is a multimodal structured decision model fine-tuned from Qwen3.5-4B which accepts a shared state, a schema of named questions and optional images and returns an answer distribution for every question in one forward pass. The numbered "How inference works" steps are visible below it.

ここが、出所をたどるのが微妙になるところだ。というのも、その2つの評価は互いに通約できず、どちらもそれぞれの研究室の外では再現されていないからだ。

Intern-Decision-4Bは7スイートのベンチマークを公開しており、平均90.02を記録している——自社の表で最高の行であり、84.68のIntern-Decision-2Bや79.38のIntern-Decision-0.8Bを上回る。これらはすべてInternLMのハーネスで測定されたものだ。また校正も公開している:ブライアスコア0.347、期待校正誤差0.065。正確な参照分布を用いた別個の96ケースのパイロットでは、適合温度を適用した後、ブライアスコア0.628およびECE 0.213から0.550および0.089へ移る。これらの数値はすべてベンダー自身のものであり、InternLMの外部の誰もそれらを検証していない。

RepGen-4Bは、1~10の判定尺度による忠実性テーブルを公開している——best-of-1が4.95、best-of-3が6.02で、既製のGPT-5.5を使った場合は3.90と4.90、未チューニングのベースモデルは3.41と4.42だった。これらの数字はすべてMicrosoft自身のもので、GPT-5.4 miniがシミュレーター、アシスタント、判定者を同時に務めて生成したものであり、Microsoftの外部でそれらを検証した者はいない。

重要な非対称性はスコアそのものではない——スコアは異なる尺度で異なるものを測っている。重要なのは、Intern-Decision-4B が既知の参照分布に対する適正なスコアリングルールを公開しており、これは構造上反証可能である一方、UserRepGen-4B は LLM ジャッジによるスコアを公開しており、これは別のジャッジを実行することによってしか反証できないという点だ。InternLM は算術で監査できるモデルを作った。Microsoft は別のモデルで監査しなければならないモデルを作った。両者ともベースラインを上回ったと主張していることを踏まえれば、この監査可能性の違いは、あなたがどちらを選ぶかという判断の実質的な一部なのだ。

そのうちの一つだけが出力するプライバシー所見

Intern-Decision-4Bのカードには、重要なプライバシーセクションは含まれていない。UserRepGen-4Bのカードには、どのチームも足を止めさせる数字が含まれている。147人を超えるユーザーを対象に、4つの会話のうちどれが同じ人物によるものかを選ぶよう求められたセレクターは、モデルの行動記述を使うと51.02%を当てる。これは、完全な生の会話を使った場合の44.22%、ランダムの場合の25%と対照的である。圧縮された表現は、その人物をよりよくそれが導出された素材よりも

Microsoftはそれをリンク可能性リスクと位置づけ、表現は匿名化されたデータではないと明確に述べている。それは正しい扱いであり、モデルというクラス全体に当てはまる注意事項だ——人々の状況についての会話を入力とする判断モデルも含めて。違いは、一方のカードがそう述べ、他方が述べていないというだけにすぎず、それは一方のモデルが安全であることと同じではない。

どちらも API ではありませんが、それらが共有する基盤は

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3.5-flash, showing the Qwen3.5 Flash heading, Vision, Tools, JSON and Reasoning badges, a description of it as a multimodal chat model optimised for cost with 1M context, prices of $0.10 and $0.40 per million tokens, a 1M-token context with 65k maximum output, and a p50 TTFT of 1.50 seconds.

これらはどちらもダウンロードであり、エンドポイントではありません。Intern-Decision-4B は、一度読み込まれて再利用される Python の DecisionEngine クラスとして提供され、そのデモ Space は 401 を返し、GitHub リンクは 404 になります。UserRepGen-4B は、単一の未量子化 safetensors ファイルと example.py を提供します。OrcaRouter はどちらも提供していません。今日、どちらか一方がホスト型 API 経由で利用可能だと言っているのなら、あなたは事実ではなく計画を説明しています。

本当に呼び出せるのは、両者が分岐した元のチェックポイントです。Qwen3.5-4B のファミリーは当社のカタログにあります — Qwen3.5-Flashは100万トークンを超えるコンテキストで、入力100万トークンあたり$0.10、出力100万トークンあたり$0.40、Qwen3.5-35B-A3Bは$0.057と$0.459、Qwen3.5-27Bは$0.086と$0.688 — すべて同じキーで、すべてプロバイダーの定価のままで上乗せはありません。これは、これら2つのモデルではないパイプラインの部分に役立ちます。シミュレーションのアシスタント側や、意思決定呼び出しの周辺の推論ステップは、ファインチューンをローカルで評価している間に、1つのエンドポイントを通して実行できます。

選び方

あなたの問題が、列挙可能な答えを持つ有界な問いであり、1秒に1万回の較正された数値が必要だというものなら、ここでそれを実現する唯一のモデルはIntern-Decision-4Bであり、決してサンプリングしないという事実は制約ではなく特徴だ。あなたの問題が、実ユーザーのように振る舞うシミュレータを求めていることなら、そのために訓練されたここ唯一のモデルはUserRepGen-4Bであり、GPT-5.5に対する報告された改善幅の大きさこそが注目すべき理由だ。どちらも、もう一方の数値を根拠に選ぶべきではない。なぜなら両者は同じものを測定したことがないからだ。この比較を決着させるのは、どちらかのカードに対するたった一度の外部による精査だろう——そして、数週間違いで完全な沈黙の中でリリースされた2つのリリースについて、どちらもそれをまだ受けたことがない。

2件の静かなリリースは、このクラスのモデルのどれほど多くがドキュメントなしで出荷されているかを思い知らせるものでもあり、それに続く障害はOrcaRouter AI Incident Archiveに集められており、各項目には独自の情報源、重大度、信頼度グレード、異議申し立てフラグが付与されている。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新