オープンソースAIがなぜ重要か — Llama 3.1リリースに寄せてマーク・ザッカーバーグが情熱的な投稿、歴史的な書簡となるか

7月24日、MetaはLlama 3.1を公開した。

それに合わせる形で、Meta社のCEO マーク・ザッカーバーグが、オープンソースAIの意義と重要性、そして未来像について語る書簡を発表した。
もしかすると、これがオープンソースAIの歴史的な転換点における重要な書簡と見なされる可能性もあると思い、以下に、その意訳を掲載する（※本文章は、元の文章からChatGPTによる出力と人手による編集を経て制作した）。
もし翻訳や解釈のミスがあったら、コメント欄でご指摘願いたい。

Open Source AI Is the Path Forward (オープンソースAIは、前進への道である）

2024年7月23日
マーク・ザッカーバーグ、創設者兼CEO

ハイパフォーマンスコンピューティングの黎明期において、主要なテクノロジー企業はそれぞれ独自のクローズドソース版のUnixを開発することに多大な投資を行っていました。当時は、他のアプローチがこれほど高度なソフトウェアを開発できるとは想像もつきませんでした。
しかし、やがてオープンソースのLinuxが人気を博し始めました。最初は開発者がコードを自由に変更でき、コストが安かったためですが、後により高度で安全になり、広範なエコシステムがより多くの機能をサポートするようになったからです。現在、Linuxはクラウドコンピューティングとほとんどのモバイルデバイスを運用する、オペレーティングシステムの業界標準の基盤となっており、私たちはそのおかげでより優れた製品を享受しています。

AIも同様の道をたどるだろうと私は信じています。

今日では、いくつかのテクノロジー企業が先進的なクローズドモデルを開発していますが、オープンソースは急速にその差を縮めています。昨年、Llama 2はフロンティアの背後にある古い世代のモデルと比較されていましたが、今年のLlama 3は最も先進的なモデルと競合し、一部の分野ではリードしています。来年には、次世代のLlamaモデルが業界で最も先進的なものになることを期待しています。しかしそれ以前にも、Llamaはすでにオープン性、修正可能性、コスト効率でリードしています。

今日、我々はオープンソースAIが業界標準になるための次のステップを踏み出しています。Llama 3.1 405Bという最初のフロンティアレベルのオープンソースAIモデル、ならびに新しく改良されたLlama 3.1 70Bおよび8Bモデルをリリースしています。405Bモデルがオープンであることにより、他のクローズドモデルと比べてコストパフォーマンスが大幅に優れているため、小さなモデルをファインチューニングおよび蒸留するための最良の選択肢となります。

これらのモデルをリリースするだけでなく、広範なエコシステムを成長させるために多くの企業と協力しています。
Amazon、Databricks、NVIDIAは、開発者が自分のモデルをファインチューニング、および蒸留（distilling）するための完全なサービススイートを立ち上げています。
Groqのようなイノベーターは、すべての新しいモデルに対して低レイテンシー、低コストの推論サービスを構築しています。これらのモデルは、AWS、Azure、Google、Oracleなど、すべての主要なクラウドで利用可能です。
Scale.AI、Dell、Deloitteなどの企業は、企業がLlamaを採用し、自社データを使ってカスタムモデルをトレーニングするのを支援する準備ができています。コミュニティが成長し、より多くの企業が新しいサービスを開発するにつれて、Llamaを業界標準にし、AIの利点をすべての人にもたらすことができます。

MetaはオープンソースAIにコミットしています。なぜオープンソースが最良の開発スタックであるのか、なぜLlamaをオープンソース化することがMetaにとって良いのか、そしてなぜオープンソースAIが世界にとって良いのかを説明します。

オープンソースAIが開発者にとって良い理由

開発者、CEO、政府関係者と話すと、いくつかのテーマが浮かび上がってきます：

自分たちのモデルをトレーニング、ファインチューニング、蒸留（distilling）する必要がある。 各組織には異なるニーズがあり、それらは特定のデータでトレーニングまたはファインチューニングされた、異なるサイズのモデルによって満たされます。デバイス上のタスクや分類タスクには小さなモデルが必要であり、より複雑なタスクには大きなモデルが必要です。今では、最も先進的なLlamaモデルを使い続けて自分のデータでトレーニングし、その後最適なサイズのモデルに蒸留することができます。
クローズドベンダーに縛られたくない。自分たちの運命を自分たちでコントロールしたい。 多くの組織は、自分たちで運用できないモデルに依存したくありません。クローズドベンダーがモデルを変更したり、利用規約を変更したり、サービス提供を完全に停止したりすることを望んでいません。また、特定のクラウドに独占的な権利を持つモデルにロックインされたくないのです。オープンソースは、互換性のあるツールチェーンを持つ広範なエコシステムを可能にし、容易に移動できるようにします。
データを保護する必要がある。 多くの組織は、保護しなければならない機密データを扱っており、クローズドモデルを通じてクラウドAPIに送信することはできません。他の組織は、クローズドベンダーにデータを預けることを信頼していません。オープンソースは、モデルを任意の場所で運用できるようにすることでこれらの問題に対処します。オープンソースソフトウェアはより透明に開発されるため、より安全であることが広く受け入れられています。
効率的で手頃なコストで運用できるモデルが必要です。 開発者は、自分たちのインフラでLlama 3.1 405Bの推論を行うことで、GPT-4oなどのクローズドモデルを使用するコストの約50%でユーザー向けおよびオフラインの推論タスクを実行できます。
長期的に標準となるエコシステムに投資したい。 多くの人々がオープンソースがクローズドモデルよりも速いペースで進化していると感じており、長期的な最大の利益をもたらすアーキテクチャにシステムを構築したいと考えています。

オープンソースAIがMetaにとって良い理由

Metaのビジネスモデルは、人々に最良の体験とサービスを提供することにあります。これを実現するためには、常に最良のテクノロジーにアクセスでき、競合他社のクローズドエコシステムにロックインされて制約を受けないようにする必要があります。

私の形成期の経験の一つは、Appleのプラットフォームで構築する際に直面した制約です。彼らがデベロッパーに課す課税（いわゆるアップル税）、恣意的なルール、いくつものイノベーティブな製品が出荷をブロックされていることなどを考えると、Appleに制約されることなく製品を構築できるようになれば、はるかに良いサービスを提供できることが明らかです。哲学的なレベルでは、これが次世代のコンピューティングに向けてAIとAR/VRのオープンエコシステムを構築することに強く信じている主な理由です。

Llamaをオープンソース化することで技術的な優位性を失うことを心配しているかとよく聞かれますが、いくつかの理由でこれは大局を見逃していると思います。

第一に、最良のテクノロジーにアクセスでき、長期的にクローズドエコシステムにロックインされないようにするためには、Llamaがツール、効率改善、シリコン最適化、その他の統合の完全なエコシステムに発展する必要があります。もし我々だけがLlamaを使用していたら、このエコシステムは発展せず、クローズド版Unixと同様の運命をたどるでしょう。

第二に、AIの開発は非常に競争が激しい状態が続くと予想しているため、特定のモデルをオープンソース化することは、優位性を放棄することにはならないと考えています。Llamaが業界標準になる道筋は一貫した競争力を持つこと、効率的で、オープンであることにあります。

第三に、Metaとクローズドモデルプロバイダーの大きな違いは、AIモデルへのアクセスを販売することが我々のビジネスモデルではないことです。
したがって、Llamaを公開することは、クローズドプロバイダーにとっては収益性、持続可能性、研究への投資能力を損ないますが、我々にはそうした影響がありません。（これは、一部のクローズドプロバイダーがオープンソースに反対するロビー活動を行っている理由の一つです。）

最後に、Metaはオープンソースプロジェクトによる成功の長い歴史を持っています。Open Compute Projectでサーバー、ネットワーク、データセンターデザインを公開し、サプライチェーンが我々のデザインに標準化することで数十億ドルの節約を実現しています。PyTorch、React、その他多くのツールをオープンソース化することでエコシステムの革新の恩恵を受けています。このアプローチは、長期的に続けることで一貫して成功しています。

オープンソースAIが世界にとって良い理由

オープンソースは、ポジティブなAIの未来のために必要であると私は信じています。AIは、他の現代技術と比べても人間の生産性、創造性、生活の質を向上させる可能性が高く、経済成長を加速させ、医療や科学研究における進展を促進することができるのです。オープンソースは、世界中のより多くの人々がAIの利点と機会にアクセスできるようにし、権力が少数の企業に集中せず、技術が社会全体でより均等かつ安全に展開されるようにします。

オープンソースAIモデルの安全性についての議論が続いていますが、私の見解では、オープンソースAIは他の選択肢よりも安全です。政府は、オープンソースが世界をより繁栄させ、安全にするために彼らの利益になると結論付けるでしょう。

私はAIモデルの安全性とは、意図しない危害と意図的な危害の二つのカテゴリーから保護する必要があるという考えに基づいています。
意図しない危害とは、AIシステムが意図せずに危害を引き起こす場合のことです。例えば、現代のAIモデルは意図せずに誤った健康アドバイスを提供するかもしれません。あるいは、より未来的なシナリオでは、モデルが意図せずに自己複製したり、目標を過度に最適化して人類にとって有害になることを心配する人もいます。
意図的な危害とは、悪意のある行為者がAIモデルを使って危害を加えることを目指す場合のことです。

意図しない危害は、AIに関して懸念される事柄の大半を占めるものです。何十億人もの人々がAIシステムの影響を受けると考えると、人類にとっての本当に壊滅的なSFシナリオまで想像し得ます。この点で、オープンソースはシステムがより透明で広く精査されるため、はるかに安全であると考えられています。歴史的に見ても、オープンソースソフトウェアはこの理由でより安全です。同様に、LlamaをLlama Guardなどの安全システムと共に使用することは、クローズドモデルよりも安全である可能性が高いです。このため、オープンソースAIの安全性に関する会話の多くは意図的な危害に焦点を当てています。

我々の安全プロセスには、モデルが意味のある危害を引き起こす可能性があるかどうかを評価するための厳格なテストとレッドチームの作業が含まれており、リリース前にリスクを軽減することを目指しています。モデルがオープンであるため、誰でも自分でテストすることができます。また、これらのモデルはインターネット上の情報によってトレーニングされているため、危害を考慮する際の出発点は、モデルがGoogleやその他の検索結果からすぐに取得できる情報以上に危害をもたらしうるか、であるべきです。

意図的な危害について考える際には、個人や小規模な行為者ができることと、大規模な行為者（国家など）ができることを区別することが役立ちます。

将来的には、個々の悪意ある行為者がインターネット上の情報を利用して全く新しい危害を作り出すことができるようになるかもしれません。
この時点で、AIの安全性にとって権力のバランスが重要になります。私は、AIが広く展開される世界の方が、小規模な悪意のある行為者の力を大規模な行為者がチェックできる世界の方が良いと考えています。これは、我々がソーシャルネットワークのセキュリティを管理している方法であり、より高度なAIシステムが小規模なAIシステムを使用する悪意のある行為者からの脅威を特定し、阻止しているのです。より広く言えば、大規模な機関がAIを大規模に展開することで、社会全体の安全性と安定性が促進されます。すべての人が同じ世代のモデルにアクセスできる限り、オープンソースが促進するように、コンピュータリソースを多く持つ政府や機関は、少ないリソースを持つ悪意のある行為者をチェックできるのです。

次の質問は、米国や民主主義国家が巨大なリソースを持つ国家（例えば中国）からの脅威をどのように扱うべきかです。
米国の優位性は、分散型でオープンなイノベーションにあります。いくつかの人々は、中国がアクセスできないようにモデルをクローズする必要があると主張していますが、これはうまくいかず、米国とその同盟国に不利益をもたらすだけだと私は考えています。我々の敵対者はスパイ活動に長けており、モデルを盗むことは比較的容易なだけでなく、ほとんどのテクノロジー企業はこれを妨げるような運営を行っていません。

またクローズドモデルだけの世界では、最先端のモデルにアクセスできるのは大企業と我々の地政学的敵対者だけで、スタートアップ、大学、中小企業はそのチャンスを逃す可能性が最も高いです。さらに、アメリカのイノベーションをクローズドな開発に制約することで、米国がイノベーションをリードできない可能性が高まります。
代わりに我々の最良の戦略は、堅牢なオープンエコシステムを構築し、我々のリーディングカンパニーが政府や同盟国と緊密に連携して、最新の進展を最大限に活用し、持続可能な先行者利益を長期にわたって確保することです。

今後のチャンスについて考える際には、今日のリーディングテクノロジーカンパニーや科学研究のほとんどがオープンソースソフトウェアに基づいていることを思い出してください。次世代の企業や研究は、我々が共同で投資するならば、オープンソースAIを使用することになるでしょう。スタートアップが立ち上がるだけでなく、大学や自分たちで最先端のAIを開発するリソースを持たない国々の人々も含まれます。

要するに、オープンソースAIは、この技術を利用してすべての人々に最大の経済的機会と安全性をもたらすための最良の方法を提供します。

一緒にこれを構築しよう

過去のLlamaモデルでは、Metaは自社のためにそれらを開発し、リリースしてきており、広範なエコシステムの構築にはあまり焦点を当てていませんでした。このリリースでは異なるアプローチを取っています。できるだけ多くの開発者やパートナーがLlamaを使用できるように内部チームを構築し、エコシステム内の多くの企業が顧客に独自の機能を提供できるように積極的にパートナーシップを築いています。

Llama 3.1のリリースは、ほとんどの開発者が主にオープンソースを使用し始める産業の転換点となり、このアプローチはここからさらに成長すると予想しています。AIの利点を世界中のすべての人にもたらすためのこの旅に、ぜひご参加ください。
モデルには現在 https://llama.meta.com からアクセスできます。

💪,