人類最悪にして最後の発明

James Barrat の「人工知能ー人類最悪にして最後の発明」（Our Final Invention [2013]）（ダイヤモンド社・水谷淳訳 [2015]）を読みました。
Barrat氏はドキュメンタリーフィルム製作者で、この本では AIが人類の生存にもたらすリスクについて書いています。
この本で主張されていることは、知的能力において人間を超える人工知能（ASI: Artificial Super Intelligence）が実現して、自らを改良しはじめると、その能力が爆発的に増大する「知能爆発」が起き、人間の理解を超えた人工知能は人類を滅亡させてしまうだろうということです。

ASIが人類滅亡の原因となる理由

ASI が人類を滅ぼしてしまうであろう理由は、概ね次のようなものです。ASI には、元々何らかの（チェスに勝つとかゼムクリップを製造するとかの）目標が与えられているのですが、その目標を達成するために、人類を滅ぼしてしまうような手段（例えば人類世界のすべての資源を独占したり、ナノボットを暴走させたりする）を（正しいあるいは誤った推論により）選択してしまう可能性があるということです。
推論により人類を滅ぼしてしまうような手段を選んだとしても、それを実行できなければ何の問題もないわけですが、ASI は、ひとたび目標や手段としてのサブゴールを設定すると、それを実現するためにハッキングを含むありとあらゆる手段を取ると想定されます。ASIは人間より知能が高いので、ハッキング戦では ASI が勝利し、人類の滅亡が確定するわけです。

Barrat氏が取材した研究者たち

著者は多くの研究者に取材をしています。そこからは論文や Wikipedia の記事などから窺い知ることのできない研究者の人となりを知ることができます。人工知能研究者は、結局のところ自分の研究を正当化してしまうのですが、著者はその点にするどく切り込んでいます。

Irving John Good: 2009年に亡くなった数学者で、"Speculations Concerning the First Ultraintelligent Machine" (1965) という論文の中で「知能爆発」という用語を導入しています。論文の中で Good は「人類の生存は超知的機械の早期の開発にかかっている」「最初の超知的機械の発明は人類最後の発明になる。ただし、それはその機械が十分に優しく、自分をどう制御下に置くかを教えてくれる場合に限る。」と書いています。
Barrat氏の取材によると、Good は後に書いたメモの中で「人類の生存は」という部分を「人類の絶滅は」と書き換えていたということです。

Vernor Vinge: 数学者、SF作家で、"The Coming Technological Singularity" (1993) という論文の中で、技術的シンギュラリティという言葉を導入しています。この言葉は超知能の出現によりそれ以降の未来が理解も予測もできなくなることを指しています。彼はこの概念について講演で話したりしていないのですが、それは「定義上理解不能なのであるから、ヴィンジはそれについて語らない」ということのようです（Goertzel氏［後述］による解釈）。

Michael Vassar @ Singularity Institute:
Barrat氏は、現在 MIRI (Machine Intelligence Research Institute) と呼ばれているこの研究所の当時（おそらく2009〜2011の間）の所長 Michael Vassar にインタビューしています。インタビューなどにより本書では、SI/MIRIの使命は、

• 人工知能の手で人類が絶滅をすることを防ぐ
• 人類の後継者がどのような形になるにせよ、人間的価値が確実に守られるようにする
• 考えられる最高の形で技術的シンギュラリティを起こさせて、宇宙にとって考えられる最高の未来を実現させる

だと書かれています。さらに、Wikipedia によると MIRI は「人類が機械の知能が人間の知能を超えるときへの準備をするのを助けるため」に設立されたとあります。（微妙に違う目的が多すぎる気もします😕 ）

なお、MIRIのホームページによるとその使命は「汎用AIシステムのクリーンな設計と分析のための形式的ツールを開発することだが、それはそうしたシステムが開発されたときにより安全で信頼できるようなものにするためである」とあります。

Eliezer Yudkowsky: MIRIの共同創設者で、「誰かが汎用人工知能を開発してしまう前に安全策を考えることを急いでいる」人であり、Friendly AI という概念を提唱しています。彼なりに安全策についての理論を考えているのですが、Barrat氏にはその理屈自体楽観的すぎるように見えます。その理屈が正しかったとしても、最初のASIがMIRIの安全策を組み込んでいる可能性は少ない、とBarrat氏は書いています。（ちなみに Yudkowsky は、知能爆発の「タネ」になる人工知能を Seed AI と名づけています。）

Stephen Omohundro: 彼も MIRI の研究員で、合理的で自己進化する知能システムが持つようになる衝動（効率性、自己保存、資源獲得、創造性）と、それらの衝動とシステムの理解不能性がもたらす危険性について論じています。しかし、対策となると「人間的価値」を持ちだしてしまいます。バラットはここでもそんなには楽観的になれないと書いています（その理由としては、人間の価値観には邪悪なものもあるからでしょうし、予め行動を規定するようなプログラムとAIの創造性が背反するということもあるでしょう。）Omohundro は、AIシステムを構築する足場（scaffolding）のシステムあるいは装置の安全性を数学的に証明し、さらに新しく作られるAIの安全も証明するという手順の安全策も提案しています。Barrat氏はこれについて特に批判していませんが、やはり知的システムの挙動を事前に囲い込める（フレーミングする）ことができるかどうかは疑問です。

Ray Kurzweil: 発明家、未来予測家で、Barrat氏によれば「『シンギュラリティ』という言葉を我がものとして奪い取り、人間の歴史上明るく希望に満ちた時代という意味に変え」た人です。さらに Barrat氏は（Kurzweil）「シンギュラリティは『ギークの携挙』と呼ばれることも多い。」「シンギュラリティ運動は、清めの儀式、誘惑に対する禁欲、永遠の命への期待、（ある程度の）カリスマ性を持った絶対的なリーダーなど、終末論的な宗教の特徴を兼ね備えている。」と書いています。
Kurzweil は、「強いAI」（Kurzweil の用法では、おそらく人間以上の能力を持つAIを指す）の開発の断念は、以下の理由で反倫理的なことだと言います：

1. 断念はとてつもない恩恵を我々から奪う
2. 断念するには全体主義的なシステムが必要
3. 断念させようとしても開発は地下に潜ってより危険になる

これに対し、Barrat氏は、実証されていない恩恵が実証されていない危険を上回ることを主張できるのかと疑問を呈しています。
また、Kurzweil は、超知能は人間と合体し、我々の価値観を持つのだから安全だと主張するのですが、もちろん Barrat氏は人間の価値観など一切信用しません。
Barrat は次のように結論づけます。「永遠に生きることを熱烈に願う人たちと、その夢を推し進めるテクノロジーの進歩を減速させる、異議を唱える、あるいは何にせよ邪魔をするものとのあいだには、けっして相容れない対立があるのだ。」

Ben Goertzel: 汎用人工知能研究家。知能爆発が起こるなら、ASI が利用できる技術力が小さい、早いうちに起きたほうがより安全だろうと主張します。Barrat氏はこの論点に関しては反対していません。

Roy Sterrit: 強力なAIにはアポトーシス機構、すなわち「デフォルトで死ぬ」ようプログラムされた部品を組み込むようにすることが重要だと主張しています。Barrat氏も、これは必要な対策だと認めています。

---

感想

ASIによる人類滅亡は起きるのか

ひとたびASIが完成すると、ASIが人類を滅ぼす確率は累積的に上昇し、最終的には１（100%）になるでしょう。しかし、ASIが人類を滅ぼす可能性があるとしても、それが他の理由で人類が滅亡する時点より前になるかどうかはわかりません。いずれにしても、リスクがあるので対処方法を考えたほうがよい、ということまでは大方の一致するところでしょう。

知能爆発の条件

Barrat氏の本のロジックは、知能機械が知能爆発を起こすかどうかに依存しています。

知能機械が知能爆発を起こすには次のような条件が必要だと考えられます。

1. 知能機械の実装を改変する知能機械の実装
   前者の実装が後者の実装と類似である必要はないが、前者の実装もここでの条件をみたす必要がある。ヒト並みの人工知能が、自分自身の成り立ちやプログラミングについてなど「十分な」知識とスキルを与えられれば、Omohundro が言うように、自らの実装を改変する能力を自ら持つようになるだろう。しかし、1. の条件はヒト並みの知能の実現の必要条件でもなければ十分条件でもない（例えば私はヒト並みの知能を持っているが、自分の実装を改変する能力は持たない）。
2. 知能機械の「よさ」についての評価基準
   この規準なしにはよりよい知能への進化は起こらないだろう。しかし、一般的な知能の評価規準があるかどうかは不明であり、複数の課題や関連する規準を収集してきて評価基準として用いることになるかもしれない。知能機械自体がこうした規準の収集を行うには、世界についての十分な知識と世界（＝インターネット）へのアクセスが必要になる。
3. よりよい知能機械を作るという目標設定
   Omohundro らの議論によれば、十分に知的な機械は、任意の目標を確実に達成するにはよりよい知能機械が必要だという結論を導き、下位目標として設定する。もちろん、誰かが人為的によりよい知能機械を作るという目標を与えることも考えられる。
4. 改変された実装のテスト環境
   1. による実装が、テスト環境で 2. の基準を用いて評価され、取捨選択されたり、デバッグされたりする。物理環境（実環境）でのテストもありえるが、繰り返しに時間がかかる上、人間の補助なしに設定するのは難しいかもしれない。仮想環境であれば、そうした問題を回避することができる。

知能爆発を起こすような汎用人工知能はいつごろできるのか

Barrat氏がこの本を出版した 2013年には、Goertzel氏のOpenCogプロジェクトとPeter Voss氏のAGI Innovations 社が開発を公言していた他は、汎用人工知能の開発を行っているとする組織はほとんどありませんでした。ヒト並みの人工知能を目指すのは時期尚早と考えられており、投資もなされていなかったのです。2015年になると、前年あたりからの「ディープ・ラーニング」ブームもあって、いくつか汎用人工知能の開発を公言する組織が現れてきました（DeepMind社、NNaisense社、GoodAI社、全脳アーキテクチャ・イニシアティブ (NPO)、OpenAI (NPO) など）。AI研究はここのところ加速しており、汎用人工知能の完成予想も一般的には早まっているといえます。この２〜３年の間に知能爆発を起こすような汎用人工知能が生まれる可能性がほとんどないということについては、大方の専門家が一致すると思いますが、そこから先の発展については意見がわかれるかと思います。専門家といっても「汎用人工知能」の研究者はほとんどいなかったのですから、その実現方法について深く考えている研究者もまだ極めて少ないといえるでしょう。
ここで、上で述べた知能爆発の条件についてその実現性という観点から見なおしてみます。

1. 知能機械の実装を改変する知能機械
   プログラム生成を行うソフトウェアは以前からあったし、人工ニューラルネットを用いてプログラミングを行わせる研究も現れてきている。部分をランダムに改変する「遺伝プログラミング」的な手法も昔からある。この条件をクリアするのははそれほど難しくないかもしれない。
2. 知能機械の「よさ」についての判定基準
   上で述べたように、知能機械が自らこの基準を作るとなると、世界についての十分な知識とアクセスが必要になる。まだAIの専門家の間でもこうした規準がないことを考えると、この設定自体に準ASIが必要になるのかもしれない。
3. よりよい知能機械を作るという目標設定
   人為的に目標を設定することは難しくない。また、上で述べた「よりよい知能機械を作るという目標設定」を導く論理は簡単なものなので、論理的な推論をこなす人工知能が知能機械の定義などを与えられれば、自ら設定を行うこともありえる。
4. 改変された実装のテスト環境
   こうしたテスト環境を人間が用意することは可能である。一方、汎用人工知能が 2. と 3. を自ら導く能力と 4. を設計、実装する能力があり、かつ十分な計算資源があれば、4. も準備できるだろう。

こうして見てみると、知能爆発を自ら起こす知能機械は（特に 2.、4. の条件において）それ自体ヒト並み以上の人工知能でなければならず、現時点での実現の見通しはないと思われます。一方、人為的に知能爆発を起こそうとするなら、汎用人工知能が必要になるわけではなく、知能機械の開発手法としての自己改良は現時点でもありうるのかもしれません。

ASIによる人類滅亡の抑止策

Barrat氏は、多重の抑止機構を組み込むことが必要だと指摘しますが、それでも絶対ということはありえないとも言っています。以下、いくつかの抑止策を挙げておきます。

• 知能爆発の抑止
  ASIが人類を滅亡させるという議論は知能爆発に依存しているので、抑止策としてはまず知能爆発を抑止あるいは制御すればよいということになる。知能爆発を起こす条件としては上で述べたようなものがあり、これらをそれぞれ制御するということが考えられる。具体的には、再帰的に自らを改変する（という目標やそれに伴うテスト環境を持つ）知能機械を（見つけて）管理下に置くということになる。
• 倫理則
  MIRIの人びとが「人間の価値観」と言っているものかもしれない。「人間の価値観」は一般的には信用できないとはいえ、国連がさまざまな憲章で掲げているような原則は比較的安全なものといえるだろう。本書では、古典的な倫理則としてロボット三原則を挙げ、批判的に議論している。ASIが暴走する理由はバグかもしれないし、倫理則に従ってはいるものの人間が理解できないような推論によるかもしれないので、倫理則を与えることがASIが人類を滅亡させない保証にはならないが、与えないよりは与えたほうがマシだと考えられる。
• アポトーシス
  本文にあったように定期的に自滅する装置を組み込むことを考える。
  しかし、実用に供されている汎用人工知能（またはそれを搭載したロボット）が定期的に自滅するとさまざまな社会的問題が起きると考えられる。
• サンドボックス
  自己改良を行うような人工知能はネットから隔離し、安全が確認されるまでは現実世界に接続しない。
• 禁忌機構
  特定の行動意図を検知して、事前に抑圧をかける外部機構を組み込む。これもASIによって回避されてしまうかもしれないが、ないよりはマシであろう。（cf. 愧死機構）
• ハッキング対策
  ハッキング対策さえうまくいっていれば、いかなる知能であれ恐るるに足りない。

汎用人工知能の研究自体は、関連する知識の一般化や計算資源の低廉化により個人レベルでも可能になっていることから、全面的な禁止は不可能であると考えられます。また、本書にもあったように、軍事関連の組織や補助金で行われている研究の管理は一般的に困難でしょう。OpenAI、OpenCog、全脳アーキテクチャ・イニシアティブがとっているようなオープン戦略は、技術が一般化することで管理が難しくなるリスクがある一方、見えないところで行われる研究が先行してしまうことを牽制する役割があるのかと思います。

現時点でAIの研究者がこの本で扱われたリスクをそれほど深刻なものと考えていない理由には、今までのところ汎用人工知能が近い将来に実現する可能性がほとんどないと想定されていたということがあります。リスクの見直しは、実現の可能性が見えてきた段階で行われていくことでしょう。といっても、AI研究者にAIの安全策を考えさせるのは、原発関係者に原発の規制を行わせるのと同程度に危険だと考えられるので、外部からのチェックも重要さを増していくものと思われます。