Rondelion

James Barrat の「人工知能ー人類最悪にして最後の発明」（ Our Final Invention [2013]）（ダイヤモンド社・水谷淳訳 [2015]）を読みました。 Barrat氏はドキュメンタリーフィルム製作者で、この本では AIが人類の生存にもたらすリスクについて書いています。 この本で主張されていることは、知的能力において人間を超える人工知能（ASI: Artificial Super Intelligence）が実現して、自らを改良しはじめると、その能力が爆発的に増大する「知能爆発」が起き、人間の理解を超えた人工知能は人類を滅亡させてしまうだろうということです。 ASIが人類滅亡の原因となる理由 ASI が人類を滅ぼしてしまうであろう理由は、概ね次のようなものです。ASI には、元々何らかの（チェスに勝つとかゼムクリップを製造するとかの）目標が与えられているのですが、その目標を達成するために、人類を滅ぼしてしまうような手段（例えば人類世界のすべての資源を独占したり、 ナノボットを暴走 させたりする）を（正しいあるいは誤った推論により）選択してしまう可能性があるということです。 推論により人類を滅ぼしてしまうような手段を選んだとしても、それを実行できなければ何の問題もないわけですが、ASI は、ひとたび目標や手段としてのサブゴールを設定すると、それを実現するためにハッキングを含むありとあらゆる手段を取ると想定されます。ASIは人間より知能が高いので、ハッキング戦では ASI が勝利し、人類の滅亡が確定するわけです。 Barrat氏が取材した研究者たち 著者は多くの研究者に取材をしています。そこからは論文や Wikipedia の記事などから窺い知ることのできない研究者の人となりを知ることができます。人工知能研究者は、結局のところ自分の研究を正当化してしまうのですが、著者はその点にするどく切り込んでいます。 Irving John Good : 2009年に亡くなった数学者で、" Speculations Concerning the First Ultraintelligent Machine " (1965) という論文の中で「知能爆発」という用語を導入しています。論文の中で Good は「人類の...

脳科学におけるバインディング問題とは、例えば視覚において複数の認識対象をどうやって同時に認識できるかといった問題である。一つの認識対象だけなら特徴抽出によって認識できることが想像できるが、例えば「 目の前に赤い円と青い正方形が呈示されたときに, それが青い円と赤い正方形ではなくどうして赤い円と青い正方形であると正しく知覚できるのか 」 （ 電子通信学会「知識の森」S3群2編　感覚・知覚・認識の基礎７章 より） ということが問題になる。 この問題に対する一つの回答案（仮説）は次のようなものになる。 脳は、 一つの認識対象の認識結果と別の対象の認識結果の関係を記憶し、複数の対象の表象を連想によってたどっていくことにより統合する。つまり、脳は同時に複数の対象を表象するのではなく、逐次的に表象するということになる。 イメージの場合、対象間の関係は方向と大まかな（角）距離で表すことができる。こうした相対的な関係の全体により複数対象のイメージを構築するのであれば、個体の向きや目の動き（サッカード）に影響されない表象を作ることができる。（方向の認知は視覚だけでなく（触覚を含む）体性感覚、平衡感覚（三半規管）、眼球運動の実行とフィードバックの感覚に関係する。）この仮説では、イメージ（空間）の統合は、個々の対象の認識を順繰りに（順不同で）たどっていくこと（ができること）に他ならない。 もちろん仮説は検証を待たなければならない。脳の話ということであれば（たぶん「 where 経路 」に関係があるが）生理学的な裏付けが必要になる。あるいはこれが脳の話ではなく神経回路モデルの人工知能応用の話なのであれば、仕組みの細部を詰め、うまく動作することを実証しなければならない。

神経回路モデルによる 構文解析を考えてみる。ここでは、 単語（音素列の分節）およびそのカテゴリーである品詞の獲得の問題は考えず、また、単語と品詞の認識（形態素解析）は別途行われるものと する。 リカレントネットワーク などの時系列を扱える 神経回路モデルであれば、バイグラム（＝パターンの連接）を学習することができ、したがって単語のバイグラムを学習することができる。バイグラムもパターンだから、 神経回路モデルは バイグラムのバイグラムも学習することができる。バイグラムのバイグラムは不特定の高さの階層をなし、一種の 句構造 を表現できる。バイグラムには出現頻度が高いものや低いものがある。ひとまとまりの単語列（発話）が与えられた時、そうした頻度の異なるバイグラムを使った多数のバイグラム階層ができるが、最も尤もらしいバイグラム階層がその発話の構文（句構造）を与えていると考えることができる。この解析はチャートパージングに似ているようにみえるが、これでうまくいくかどうかは検証が必要である。（バイグラムベースで構文解析ができるかどうかを検証するためには、神経回路モデルをひっぱりだしてくる必要はなく、既存のチャートパージングアルゴリズムを適用してみればよい。）

「言語を獲得するコンピュータ」（錦見美貴子著） 　共立出版　認知科学モノグラフ（日本認知学会・編）1998年 を読みました。 コンパクトながら研究としては労作です。 全体の流れとしては、言語獲得全般の概要を説明し、コンピュータの言語獲得の分類を行い、事例を紹介した上で、著者自身のモデルを紹介しています。 言語獲得のモデルの妥当性の基準としてはピンカーを引いています。 Pinker, 1979 Formal Models of Language Learning. Cognition , 1, 217-283 ・説明の範囲（Coverage） ・入力の妥当性（Input plausibility） ・挙動の再生（Empirical fidelity） (例：子どもと同じ間違いをおかす) ・時間的制限（Time limitation） ・言語非特異性（Non-specificity) ・認知的制約（Cognitive constraints) (子どもが持っていなさそうな能力は仮定しない) 言語獲得モデルとしては次のような分類があるとしています。 1) 概念対応付け（概念は与えられ、ことばとの対応付けをすればよい） 2) 概念生成モデル（概念を生成する必要がある） 3) 記述生成モデル（言語による概念生成への干渉を考慮） モデルの対象となる入力としては言語的なものと非言語的なものがあり、学習の対象としては、統語的なものと意味的なものがあるため、これらの組み合わせにでさらにモデルを分類し、事例を紹介しています。 著者自身のモデル Rhea については ・“言語＋非言語→統語＋意味” モデル ・記述生成モデル と要約しています。 その学習能力は、言語入力については構文解析と文法の獲得であり、非言語入力については言語入力の構造との対応付けをするとしています。 タスクとしては、与えられた非言語的入力に言語的なキャプションを付けることを行います。 Rhea では「意味」を環境情報から「注視点」（部分情報）を取り出す手続き（フィルタ）と定義しています。Rhea はことばとシーンを入力とし、学習アルゴリズムを適用してフィルタを生成するという学習を行うことになります。 統語面では、文脈自由形文法...

Voyez mon autre blog (en anglais).

Hodie io ha trovate un redaction de mi these de magistro (de plus que un quarte seculo retro) in un tiratorio.  Le titulo es "Sur le machina que apprende series".  Io habeva oblidate lo que io habeva scribite in le these completemente. Io era surprendite de: Io NON COMPRENDE lo que es scribite del TOTO! * Io me demanda como le these passava al examination del consilio... Mi interesse (in machinas que apprende) non ha cambiate post iste longe periodo... * Persistentia o nulle avantiamento?

English version of this article On Intelligence の理論を少し一般化したものを図にしてみました。 図で「 Auto-Associative Self-Organizing Spatio-Temporal Pattern Recognizer （自己連想自己組織化時空間パターン認識器） 」という部分が新皮質に相当します。 時空間パターン認識（学習）器は HMM のような数学モデルでモデル化できるかもしれませんが、多次元ベクトルとなる空間パターンを扱うので、結局自己連想神経ネットワークモデルに似たものを使うことになるかと思います。 本ではそれぞれの皮質領域は運動制御に関係するとされていました。図で「Feedback from more abstracted pattern recognizer」とある部分は（知覚的な予測の信号と共に）運動制御の信号を含むかもしれません。（人間の視覚ではサッカードがあるため運動制御信号は知覚統合のために特に重要です。） 上の図で、入力信号、上位の層からのフィードバック信号、（時系列パターンを表現するための）状態は別々になっていなければならない一方、空間パターン上で同じことを表現するのに関連する信号は相互に組織だって処理される必要があります。 本（On Intelligence）では、新皮質カラム「内部」の異なる層が脳の様々な場所からの信号を受け取り、層の間で連絡を行いながら信号処理をしていることが説明されています。 上の図は一般的な知能のモデルとしては行為の部分が抜けています。行為がよくない結果をもたらさないように（予測された）行為の選択が行われる必要が あります（これは心の中でのリハーサルまたはシミュレーションのモデルともいえます）。 また、行為の学習を行うためには、何らかの生得的な行為の仕組みも必要でしょう。 行為が先になければ条件付けが起きません。動物は生まれた時からさまざまな行為の仕組みを持っています（馬なら最初から立ち上がります）。

English version of this article Jeff Hawkins（ ジェフ・ホーキンズ ）の On Intelligence を読みました。この本は脳の働きについての新しい理論を提示するもので、それにより知的な機械を作ろうというものです。 2004年の出版ですが、訳書「 考える脳　考えるコンピューター 」が2005年に出ていることは原書を読みはじめてから気づきました（検索すると、この訳書も結構読まれているようです）。私は２、３年前までは記号的な言語処理の世界にいたので、気づかなかったようです。しかし、私も著者と同様1980年ごろの学生時代に脳の仕組みをあれこれ調べていたので、私にとっては原点に戻らせてくれるような本だといえます。 以下は本の理論的な部分の概要です： 脳科学者マウントキャッスルの原則: 新皮質領域はすべて同じ基本的な機能を持っている。 新皮質は問題解決のために記憶を用いる。 新皮質の記憶の４つの性質： 新皮質はパターンの時系列を記憶する。 新皮質はパターンを自己連想的に想起する。 新皮質はパターンを「不変的（invariant）な」形で記憶する。 ※ここで「不変的」というのは、さまざまなパターンに対して一定の応答をする（ようはパターン認識をする）ということですね。 新皮質はパターンを階層によって記憶する。 脳（新皮質）の基本的な機能は予測である。 予測は知能を理解するためのカギである。 新皮質のどの階層の領域でも（学習により）不変表現を生み出す（※どのレベルでもパターン認識をする）。 皮質（カラム）内の微細な層構造の機能を理解することは重要である。 例えば、時系列の学習は微細構造によって説明できる。 感覚皮質も運動に関与する。 視床を介するフィードバックは自己連想記憶に必要な遅延フィードバックと考えることができる。 新皮質の高次の階層からのフィードバックは下層の皮質中で詳細なパターンの予測をもたらす。 海馬は新皮質の階層の最上位にあって、新しい状況の記憶に寄与する。 上位皮質階層への視床を介する神経回路は予想外のパターンの検証に用いられる。 この本の内容は（直感的には）概ね妥当だと思えます。この分野にはかなりご無沙汰していたので、私の代わりに万巻の資料を読んで本にしてく...

この記事の 日本語版 I recently stumbled on Jeff Hawkins 's theory on the Web and read his book published in 2004.  His theory is about how brains work and he purports that his theory would be valuable for building intelligent machines.  I came across it belatedly perhaps because I was in a more symbolistic approach until recently.  The book is interesting for me partly because I was also enthusiastic on the brain around 1980 when I was a student (like the author). The following is the gist of his theory written in the book: Vernon Mountcastle's principle: all the neocortex regions are performing the same basic operation. The neocortex uses stored memories to solve problems. The four attributes of the neocortical memory: The neocortex stores sequences of patterns. The neocortex recalls patterns auto-associatively. The neocortex stores patterns in an invariant form. * This is to say that it recognizes patterns by learning. The neocortex stores patterns in a hierarchy....

遅ればせながら George Lakoff の「 認知意味論 」を読んだ。 これだけ重要な本なのにレーダーにひっかからなかったのは分厚すぎるからだろうか。 （哲学業界でも微妙にスルーされているような気もするが...） さて、この本のテーマは明確で、ひとえに Lakoff が「客観主義（objectivism）」と呼んでいるものへの攻撃である。「客観主義」とは、おおむね次のような主張だと考えられる。 集合として表現される（古典的な）カテゴリが世界の中に存在する。 そのカテゴリに対応する記号を用いて世界を（ユニークに）記述できる。 これに対するLakoff の反駁は大雑把に言って次のようなものと考えられる。 認知科学の知見によれば、我々が用いるほとんどのカテゴリは明確な境界を持たず、集合として表現されるようなものではない。 Putnamの証明によれば、ある事態を表現する記述（モデル）は複数（無数に）あり、ある記号体系が世界をユニークに記述するということはない。 Lakoff は、Putnamの証明は「モデル理論を用いて定義される客観主義の意味論」は矛盾していることを証明しているとしている（15章）。Lakoffによると標準的なモデル論的意味論は次のことを仮定するとしている。 文の意味は可能な状況（可能世界）ごとに、その文に真理値を与える関数である。 文の部分の意味を変えながら全体の意味を変えないということはできない。 Putnamの証明は、1の関数を変えないままで、文を構成するタームと世界内のオブジェクトを複数の方法で関連づける方法を提示している。つまり、2 がなりたたないわけである。Lakoff は、このことは一般的にあてはまることであり、標準的なモデル論的意味論だけではなく、Barwise らの状況意味論にもあてはまるとしている。 この証明は Putnam が内的実在論（internal realism）を取ることになった論拠として重要なものだが、上記のモデル論的意味論の定式化は最初からあやしい気もする。1. での「意味」と 2. の「意味」は同じものを指しているのだろうか。 Lakoff は、客観主義はPutnamが論駁した形而上学的実在論の特殊化であり、意味論の基礎付けに用いられてきたが、Putnamの証明をもって廃棄されるべきだと主張する。 ここで私にはわから...

昨日の NHK BS hi 特集「 言語の起源（The Origin of Language） 」の一部分で視覚と言語でコミュニケーションをするロボットを紹介していた。AI研究の立場からするとこれは非常に重要で興味深い。番組中で言及されていた名前から担当の Luc Steels さんのホームページ （ Sony CSL Paris ）を見つけたのでここにメモしておく。 ↓はプロジェクトサイト Emergent-language.org