RepGen-4B vs Qwen 3.8：7か月前の4Bファインチューニングモデルがアリババの現行フラッグシップに挑む

まず、この組み合わせを奇妙にしている事実から始めよう。 microsoft/UserRepGen-4Bは、2026年10月14日に告知なしでアップロードされたQwen3.5-4Bのファインチューンだ — 2026年2月のチェックポイントであり、ここで比較されているモデルより丸々1世代前になる。 Qwen 3.8はAlibabaの2026年8月世代で、提供されているモデルにはQwen3.8-Max（100万トークンのコンテキストで入力100万トークンあたり$2.00、出力100万トークンあたり$6.00のフラッグシップ）、Qwen3.8-27B（262,144ポジションで$0.33と$2.40）、Qwen3.8-Flash（$0.15と$0.47）が含まれる。Microsoftはそのファミリーを見て、4Bベースを得るために1世代前へさかのぼった。そして、出来上がったモデルがその唯一の得意分野でGPT-5.5を上回ることを示す表を公開した。この組み合わせこそが記事のすべてだ。的を絞ったファインチューンが、より新しいフラッグシップにはできない何をもたらすのか、そしてそれを得るために何を犠牲にするのか。

まず、「Qwen 3.8」が何の名称なのか

比較の前にまず明確にしておく価値がある。というのも、そのファミリー名はいくつかの大きく異なる成果物を包含しており、価格は13倍以上の開きがあるからだ。判断にとって重要なのは、提供されている3つのメンバーである：

• Qwen3.8-Max — フラッグシップモデル。テキスト・画像・動画に対応するネイティブマルチモーダルで、100万トークンのコンテキストを備え、Anthropic互換を含む3種類のワイヤフォーマットで提供されます。難しい問題における正確さがコストを上回る場合のためのプレミアムティアです。

• Qwen3.8-27B — Apache 2.0 の下で公開されたオープンウェイトの dense モデル。262,144 トークンのコンテキスト、テキスト・画像・動画を入力可能。Alibaba 自身のモデルカードは LiveCodeBench v6 で 90.3、GPQA Diamond で 89.2、OSWorld-Verified で 84.3、QwenSWEBench で 79.0 を報告している — ベンダー報告の数値であり、独立した再現はされていない。

• Qwen3.8-Flash — ボリューム向けレーン。100万トークンのコンテキストを持ち、短いタスクを何百万回も走らせる用途に向いた価格設定です。また、同じ料金でカタログ上に日付入きのQwen3.8-Max (0902)スナップショットも用意されており、動く最先端ではなく再現可能な挙動が必要なときに固定して使えます。

そうしたことは何も新しい話ではなく、このページはQwenのローンチを報じているわけではない。この世代は5か月前のものだ。ここに登場するのは、比較においてより新しく、より大規模で、ベンチマーク性能が高い側だからであり、あの興味深い主張が意味を持つのは、それほど強力なものと対比してはじめてだからだ。

正確に述べられた主張

マイクロソフトのモデルカードは、700件のホールドアウト会話に対する忠実性評価を報告している。これはLLMジャッジによって1～10で採点され、そこではすべての表現生成器が同じシミュレーションループに接続される：

• Qwen3.5-4B、未改変のバックボーン — best-of-1 で 3.41、best-of-3 で 4.42。

• GPT-5.5に、そのままの状態でユーザーを描写するようプロンプトを与えた場合 — 3.90 と 4.90。

• UserRepGen-4Bは、後知恵蒸留によるオンライン教師ありファインチューニング後 — 4.95と6.02。

第1位はMicrosoft自身のモデルで、GPT-5.4 miniが判定したものであり、そのいずれもラボの外では再現されていない。これは確定した結果ではなく、方向性を示す主張として読むべきだ。しかしその方向性は明白で、パラメータ数に関するものではない。訓練手法はバックボーンをbest-of-1で1.54ポイント動かし、その過程でフロンティアの汎用モデルを追い抜いた。意図されている読みは「小さなモデルが大きなモデルに勝つ」ではない。2月の4Bベースモデルが、一つの狭い振る舞いについて徹底的に微調整されることで、単に求められたその振る舞いをするよう

Qwen3.8-Maxはその表には含まれていません。おそらくGPT-5.5よりも良い結果を出すでしょう。より強力な汎用モデルだからです。それでも、その振る舞いについては推測することになるでしょう。そのために最適化されたものが、トレーニングの中に何もないからです。

{{1}}なぜ7か月前のベースが正しい選択だったのか{{/1}}

世代間のギャップは、ファインチューニングがそのバックボーンに実際に何を求めているのかを解明するまでは、誤りのように見える。必要なのは、おおよそ流暢で、実行コストが安く、ランク64のLoRAが壊すことなく動かせる程度に安定したモデルだ。それはないなぜなら、そのタスクは推論ではなく、渡された会話を説明することだから、最先端の推論を必要とし

カード内の2つの詳細が、その読み方を裏付けている。1つ目は出力上限だ。表現には1,024トークン、会話には8,192トークン。2つ目はトレーニング予算——2026年7月から8月までの2か月——と、より重い2つの手法がどちらも敗れたという事実だ。OPSDは4.46/5.60、GRPOは3.57/4.59で、どちらもプレーンな教師ありファインチューニングの4.64/5.68を下回った。安価な手法が高価な2つを打ち負かすとき、ボトルネックは決してバックボーンの能力ではなかった。2026年のフラッグシップベースに移行すれば、同じ上限で同じ仕事をするのに1パスあたりより多くのコストがかかるモデルを手に入れることになっただろう。

その選択にはコストが伴い、カードはそれを隠すどころか率直に認めている。ビジョンタワーが親チェックポイントに付随してきたため、モデルはAutoModelForImageTextToTextを通じて読み込まれ、決して使われることのない画像・動画のコードパスを抱え込んでいる——このリリースでは画像および動画の入力は明示的に対応していない。流暢さと引き換えに、アーキテクチャの荷物も引き継ぐことになる。

コストの計算は、人々が期待するようには進まない

反射的に、ローカル推論のほうが安いと思いがちだ。このモデルが想定している規模では、たいていそうではない。そして数字を正直に計算すると、判断が変わる。700会話のバッチ、つまりMicrosoft自身の評価と同じ規模を、1回の呼び出しあたり約2,000プロンプトトークンと400出力トークンで試算してみよう。

• Qwen3.8-27B 経由で、100万トークンあたり $0.33 と $2.40：バッチ全体の総トークン支出は約 $1.13。

• Qwen3.8-Max 経由で $2.00 と $6.00 の場合：約 $4.48。

それに対して、UserRepGen-4B は 9.1 GB のダウンロード、bfloat16 で保持するのに十分なメモリを備えた GPU、そして Python クラスを接続するためのエンジニアリングを要する。Microsoft は、H100、A100、RTX A6000、B200 ハードウェア上で vLLM を用いて提供したと報告しており、CPU 推論には float32 と「約 9.1 GB の重みファイルよりもかなり多くのメモリ」が必要だと注記している。もし唯一の考慮事項がトークンあたりのドルであれば、この量ではより強力なモデルへの API アクセスの方が勝っており、しかも大差である。

つまり、UserRepGen-4B を自分で実行する本当の理由は、価格表には載らないところにある。それは、あなたがそれに与えている会話そのものだ。同モデルのカードには、処理を許可されている会話だけを処理すること、まず識別情報を最小化すること、そして表現は匿名化されたデータではないことが記されている。モデルの行動記述は、4人の候補の中から個人を51.02%の確率で特定する。これは、要約対象である生の会話の44.22%よりも高い。会話を可搬で人間可読なプロファイルに変えるコンポーネントは、API呼び出しにいくらコストがかかろうと、自社ネットワーク内に置いておきたいものかもしれない。

このようなパイプラインのどこにルーティング層が組み込まれるか

これは1モデル構成よりも2モデル構成になることのほうが多い。表現生成器は自分のハードウェア上に置き、汎用モデルがアシスタント側、判定、またはその周囲の評価ループを担う。後半はAPIを通して実行される部分だ。

提供されている Qwen 3.8 の3つのメンバーはすべて、OrcaRouter 上でプロバイダーの定価のまま、何も上乗せなく利用できます — Max は $2.00 と $6.00、27B は $0.33 と $2.40、Flash は $0.15 と $0.47 — 1つのキーで、プロバイダー間の自動フェイルオーバー付きなので、評価ループ内のジャッジ呼び出しが単一の上流障害で落ちることはありません。数百件の会話のバッチを複数のシミュレーターとジャッジに通しているなら、そのフェイルオーバーはトークン単価よりも重要です。400 件目の会話で落ちる実行は、その前の 399 件を無駄にするからです。ルーティング DSL を使えば、アシスタントとジャッジを2つ連鎖させるのではなく、1回の呼び出しにまとめられます。私たちが行わないこと、それは UserRepGen-4B の提供です。当社のカタログにはその項目がなく、ここにあるいかなる内容も、Microsoft チェックポイントの可用性を主張するものとして読まれるべきではありません。

ためらいのない決断

推論し、コードを書き、画像を読み、100万トークンを保持する汎用モデルが欲しいなら、この記事には Qwen3.8-Max に反対する論拠などどこにもない——UserRepGen-4B はそのどれもできず、フラッグシップと比べる土俵にいるわけでもない。実会話の振る舞いに条件付けられたユーザーシミュレーターが欲しいなら、Qwen 3.8 のどのメンバーもそのために訓練されていないし、選択肢は、測定された優位性を持つ小規模なローカル微調整モデルか、それがまったくない大規模 API モデルかのどちらかだ。

未解決の問いは、このリリース全体に影を落としているのと同じ問いだ。論文が存在しない。カードには引用は「確認待ち」と書かれ、リポジトリが非公開であるという一文は、リポジトリが公開された後もなお使用セクションに残ったままで、忠実度表のあらゆる数値は、とあるラボ自身のジャッジに由来している。Microsoftは、自らが比較対象とした中で最強のベースラインを上回るモデルを構築した。それがあなたのベースラインを上回るかどうかは、自分で実行する評価にしか答えられない。

7か月前のファインチューニングモデルを現在のフラッグシップと比較して評価することは、これまでに何が失敗してきたかを問うのにも適した場です。このクラスのモデルに関する、記録されたAIインシデントやエージェント障害は、OrcaRouter AI Incident Archiveに収集されており、各エントリにはそれぞれの情報源、重大度、信頼度グレード、異議ありフラグが付いています。