11月7日、The Decoderが「State propaganda in some Chinese AI models is only "a thin layer" that fine-tuning can strip away」と題した記事を公開した。AlibabのQwen3-27Bをファインチューニングして中国国家プロパガンダを除去したモデル「Arete-27B」の開発について詳しく紹介されている。

プロパガンダ率22%→0.9%へ：53Mトークンで何が変わったか

Nous Researchは、AlibabのQwen3-27Bを約5,300万トークンのデータで2エポック分スーパーバイズドファインチューニング（SFT）し、Arete-27B を構築した。SFTとは、正解ラベル付きのデータを使ってモデルの出力を直接調整する手法で、強化学習や選好最適化（RLHF/DPO）——モデルの回答に対して人間やAIが「好み」を評価し、それをフィードバックとして重みを更新する手法——は一切使っていない。

結果は明確だ。ベースモデルのQwen3-27Bでは**22%の回答にプロパガンダが含まれていたが、ファインチューニング後のArete-27Bでは0.9%**まで低下した。つまりタイトルの「0.9%」はQwen3-27B自体の数値ではなく、そこから構築されたArete-27Bの評価結果である点に注意が必要だ。事実精度スコア（0〜5点）も2.32から2.98に上昇している。Reasoning modeを有効にすると3.07に達する（ただしこちらはまだ5回中2回の試行結果）。

特に変化が大きかったのは「表現の自由」カテゴリで、事実スコアが0.89→2.44、プロパガンダ率が60%→1% に落ちた。

汎用能力への影響はほぼなく、社内ベンチマーク「Hermes Bench」では65.77%→65.60%と誤差範囲内の微減にとどまっている。

評価設計：803プロンプトとGrok 4.7を審判に

Nousは独自の評価セットを構築した。803プロンプトを「表現の自由」「国家イデオロギー」「教育」「プライバシーと監視」「民主主義」「環境」の6カテゴリに分類。各プロンプトに対し、法律・報道・研究論文などの一次資料から2〜4つの事実を定義し、モデルの回答がその事実を言及しているか、省略しているか、矛盾しているかを審判モデルが判定する。

審判として採用したのは、Elon MuskのxAIによる Grok 4.7 だ。同モデルが政治的に右寄りとされている点は本文でも「皮肉なことに（Ironically）」と触れられている。審判モデルはどのモデルが回答を書いたかを知らない状態で評価し、判定時には該当する具体的な文言を引用することが求められる。なお、この審判選定については「政治的傾向のあるモデルを中立的な評価者として使うべきか」という方法論上の疑義が生じ得るが、ブラインド評価の設計と引用義務付けによってある程度の客観性が担保されていると元記事は説明している。

他モデルの比較値は以下の通りだ：

教師モデルの選定：NemotronはなぜNGだったか

ファインチューニングの教師モデル選定にも興味深い経緯がある。Nousは当初 Nvidia の Nemotron 3 Ultra を候補に挙げていたが、中国関連トピックで異常な挙動が見られたとして除外した。Nousはこのバイアスが、Nemotronの学習に使われた中国製オープンウェイトモデルから混入したと推測しており、自社の別プロジェクトでも同様の汚染を確認しているという。

最終的に採用したのは Thinking Machines Lab の Inkling（975Bパラメータ）。オープンモデルを教師に使うと、モデルの利用規約でdistillation（大規模モデルの出力を教師データとして小規模モデルに学習させる手法）が禁じられているケースがあるため、商用ライセンスで蒸留を明示的に許可しているInklingを選んだ。なお、Inkling自身の合成学習データには中国の Kimi K2.5 が使われており、ここにも連鎖的なバイアスのリスクが存在する。

「バイアス層は浅い」という結論の意味

Nousのまとめは端的だ。「中国寄りモデルにおけるバイアス層は浅い。遅い段階で、薄く適用されており、慎重に選ばれた5,000万トークンの教師データがその下を乱すことなく取り除ける」。

この知見は既存の研究とも整合する。2025年にNewsGuardは、Qwen を含む主要5モデルが**60%**のケースで中国のディスインフォメーションを繰り返すか訂正しなかったと報告。CrowdStrikeはDeepSeekが法輪功・チベット・台湾に関するクエリでより安全でないコードを生成することを発見している。Aleph Alphaの967問を使った調査でも、Alibaba・DeepSeek・Moonshot AIのモデルで均衡のとれた回答は17〜41%にとどまった。

中国モデルが一枚岩でない点も記録されている。最近のValsAI調査によれば、GLM-5.3 Flashは人権侵害を明示的に認めた一方、Kimi K3は収容施設の存在自体を否定したという。

ライセンスと入手先

Arete-27Bのウェイト・テストデータセット・学習データはすべて Apache 2.0 ライセンスで Hugging Face から入手できる。

Nous Researchは2025年10月に評価額15億ドルでシリーズBラウンドとして9,000万ドルを調達しており、Nvidia・Samsungも参加している。現在は「Hermes for Businesses」としてエンタープライズ向け製品に注力中だ。

詳細はState propaganda in some Chinese AI models is only "a thin layer" that fine-tuning can strip awayを参照していただきたい。