人工知能に関する断創録

人工知能、認知科学、心理学、ロボティクス、生物学などに興味を持っています。このブログでは人工知能のさまざまな分野について調査したことをまとめています。最近は、機械学習、Deep Learning、Kerasに関する記事が多いです。



3層パーセプトロン

3層パーセプトロン(2002/6/24)の続き。

パーセプトロンに関しては、何冊か調べてみて、ようやく(自分としては)整理できた。

単純3層パーセプトロン
Rosenblattが提案した最初のモデルで、感覚層(S層)、連合層(A層)、反応層(R層)の3層。S層とA層の間の重みはランダムに与えられ変化しない。A層とR層の重みは学習則により変化させる。A層の閾値はランダムに与えられ変化しない。R層の閾値は変化する。基本的にR層のユニットは1つである。反応関数は、McCulloch,Pittsが提案した0と1のみの階段関数を用いる。学習できるのは、入力が線形分離可能なものだけ。MinskyとPapertによって、この限界が指摘され第1次ニューロブームが終わった。
Widrow-Hoff学習則(デルタ則)
単純パーセプトロンは線形分離可能なものしか、学習できないという欠点があった。しかし、線形分離可能でないものでも、教師信号と出力の2乗誤差の和を最小にするように収束することが望まれた。実際は、A層とR層の2層から成る。単純パーセプトロンと違うところは、0、1の2値ではなく、連続値を使うところ。あと、2乗誤差の差を設定できるところ。閾値モデルにシグモイド関数を使うところ。前に作ったのは、これだった。
誤差逆伝播法
Rumelhart, Hinton, Williamsによって提案され、第2次ニューロブームの火付け役となった。入力層、隠れ層、出力層の3層。重み(どの層間のも)は、誤差逆伝播によって変更される。閾値モデルにシグモイド関数を使用。線形分離不可能なものも学習可。

安西祐一郎著『認識と学習』にC言語で書かれた誤差逆伝播法の全ソースが載っていたので、それを元にして上の3つを実験してみる。あと、誤差逆伝播法では層を多くすると、収束までの学習回数が減るらしいが、まだ限界はよくわからない。

岩波講座 ソフトウェア科学〈〔知識〕16〉認識と学習

岩波講座 ソフトウェア科学〈〔知識〕16〉認識と学習