3層パーセプトロン

3層パーセプトロン（2002/6/24）の続き。

パーセプトロンに関しては、何冊か調べてみて、ようやく（自分としては）整理できた。

単純3層パーセプトロン

Rosenblattが提案した最初のモデルで、感覚層（S層）、連合層（A層）、反応層（R層）の3層。S層とA層の間の重みはランダムに与えられ変化しない。A層とR層の重みは学習則により変化させる。A層の閾値はランダムに与えられ変化しない。R層の閾値は変化する。基本的にR層のユニットは1つである。反応関数は、McCulloch,Pittsが提案した0と1のみの階段関数を用いる。学習できるのは、入力が線形分離可能なものだけ。MinskyとPapertによって、この限界が指摘され第1次ニューロブームが終わった。

Widrow-Hoff学習則（デルタ則）

単純パーセプトロンは線形分離可能なものしか、学習できないという欠点があった。しかし、線形分離可能でないものでも、教師信号と出力の2乗誤差の和を最小にするように収束することが望まれた。実際は、A層とR層の2層から成る。単純パーセプトロンと違うところは、0、1の2値ではなく、連続値を使うところ。あと、2乗誤差の差を設定できるところ。閾値モデルにシグモイド関数を使うところ。前に作ったのは、これだった。

誤差逆伝播法

Rumelhart, Hinton, Williamsによって提案され、第2次ニューロブームの火付け役となった。入力層、隠れ層、出力層の3層。重み（どの層間のも）は、誤差逆伝播によって変更される。閾値モデルにシグモイド関数を使用。線形分離不可能なものも学習可。

安西祐一郎著『認識と学習』にC言語で書かれた誤差逆伝播法の全ソースが載っていたので、それを元にして上の3つを実験してみる。あと、誤差逆伝播法では層を多くすると、収束までの学習回数が減るらしいが、まだ限界はよくわからない。

岩波講座 ソフトウェア科学〈〔知識〕16〉認識と学習