9月11日、Manuel Uthが「The Mathematical AI Safety Institute wants to prove AI is safe the way cryptographers prove codes are unbreakable」と題した記事を公開した。フィールズ賞受賞数学者が設立する新研究機関MAISI（Mathematical A.I. Safety Institute）が、暗号理論と同様の数学的証明によってAI安全性を保証しようとしている取り組みを詳しく紹介している。

なぜ今、数学的なAI安全性が求められるか

AIシステムの安全性評価は現在、主に「実際に動かして問題がないか確認する」という経験的・実証的な手法に依存している。レッドチーミング（意図的な攻撃を模したテスト）やベンチマーク評価がその代表例だが、これらには根本的な限界がある。テストされていないシナリオへの対応は保証できず、「安全とは何か」という定義自体が理論レベルで確立されていないのだ。

この課題は、AI規制の議論が世界的に加速する中でいっそう切実になっている。EUのAI Actや米国の大統領令など、各国がAIシステムへの安全要件を義務づける動きを強めているが、現状では「安全である」と客観的・数学的に示す方法論が存在しない。評価機関ごとに基準が異なり、再現性のある安全保証の枠組みが業界全体で欠けている状態だ。

こうした背景から、暗号理論のように「理論的に証明する」アプローチへの期待が高まっている。

「解読不能の証明」をAI安全性に応用する

暗号理論には強力な武器がある。「この暗号方式は解読不能である」という数学的証明だ。すべての攻撃パターンを試すことなく、理論的に安全性を示せる。計算量的困難性という概念を用いて、「現実的な計算資源では突破できない」ことを証明するのがその核心だ。

ところがAIにはこのような「ショートカット」が存在しない。安全性は実運用の中でしか確認できず、しかも「安全とは何か」という定義すら、理論レベルで確立されていないのが現状だ。

この根本的な問題に正面から向き合う研究機関が設立される。カナダの数学者Jacob Tsimermanが創設するMAISI（Mathematical A.I. Safety Institute）だ。

Fields賞受賞者がAI安全研究へ

Tsimermanは2026年にFields賞（数学のノーベル賞とも称される、4年に1度開催される国際数学者会議で授与される栄誉）を受賞したばかりの人物で、同時にOpenAIの安全チームへの参加も決定している。Fields賞は40歳以下の数学者に授与される賞であり、2026年の受賞は本記事公開（9月11日）直近のタイミングでの発表にあたる。

MAISIはサンフランシスコ・ベイエリアに拠点を置く独立研究機関として、2027年1月に活動を開始する予定だ。規模は数学者10〜30名からスタートする。

Tsimermanは現在のAI安全水準についてこう述べている。

「私たちが現在得ているものより、はるかに、はるかに高い安全基準が必要だ。」

MAISIが目指す3つの証明

MAISIが具体的に証明しようとしているのは以下の3点だ。

• AIシステムが責任ある行動をとり、正しい結果を出すこと
• 複数のAIエージェントが協調動作する際に望ましくない結果を引き起こさないこと
• まだ誰も発見していない脆弱性に対してもシステムが耐性を持つこと

特に3点目は、既知の攻撃への対応ではなく「未知の脆弱性への耐性」を数学的に示すという、野心的な目標だ。現在のレッドチーミングや敵対的テストが「知られている問題」にしか対処できないのに対し、MAISIのアプローチはその根本的な限界を乗り越えようとするものだといえる。

ゼロ知識証明の応用

有力なアプローチとして挙げられているのが、**ゼロ知識証明（Zero-Knowledge Proof）**の活用だ。

ゼロ知識証明とは、ある主張が正しいことを、その根拠となる情報を明かさずに証明できる暗号技術だ（1985年にGoldwasser、Micali、Rackoffが提唱した理論が起源であり、現在はブロックチェーン領域でも広く活用されている）。

これをAI安全性に応用すれば、AIラボが持つモデルの内部構造やトレーニングデータといった企業秘密を開示することなく、「このシステムは不正をしていない」と外部に証明できる可能性がある。AIの透明性とプロプライエタリな知的財産の保護を両立させる手段として機能しうるアプローチであり、規制当局や監査機関との関係においても実用的な意義を持つ。

数学でどこまで迫れるか

AIシステムの安全性を数学的に保証するというアプローチは、現在主流の経験的手法とは根本的に異なる。暗号分野では数十年かけてこの理論体系が確立された。1970年代の公開鍵暗号の登場から、計算量的安全性の定式化、そして現代のゼロ知識証明の実用化まで、長い年月と多くの研究者の積み重ねがあった。AIはそのような基盤をまだ持っていない。

MAISIのアプローチが実を結ぶには、まず「AIの安全性」という概念を数学的に厳密に定義することから始める必要がある。何をもって「安全」とするかが形式的に定まらなければ、証明の対象すら定まらないからだ。これはAIアライメント研究における形式的検証（Formal Verification）の試みとも接続する問題であり、単一の研究機関が短期間で解決できる性質のものではない。

それでもTsimermanのような数学者がこの領域に本格的に参入することの意義は大きい。AIの安全性議論がこれまで工学的・経験的なアプローチに偏ってきた中で、純粋数学の手法を持ち込む試みは、分野全体に新たな視座をもたらす可能性がある。MAISIが実際にどのような研究成果を生み出すかは、2027年以降の活動を注視する必要がある。

詳細はThe Mathematical AI Safety Institute wants to prove AI is safe the way cryptographers prove codes are unbreakableを参照していただきたい。