連想記憶

今年も輪講が始まった（2人しかいないので輪になっていないが・・・）。テーマは一応「連想記憶」ってことになった。強化学習を調べていたから忘れていたけど、連想機械アソシアトロン（2002/6/26）に興味があって調べていたことがあった。ニューラルネットも一応やっておきたいのでいい機会になればいい。

ある意味、強化学習も連想の一種と言えると思う。状況に応じて行動を連想しているから。これは、Suttonさんの『強化学習』にも書いてあった。

効果の法則（追加：状況と応答を結びつける法則。応答がよかったら結びつきが強められ、よくなかったら弱められる）には、我々が試行錯誤学習で意味しようとすることの2つの最も重要な特徴が含まれている。まず、選択的（selectional）であるということであり、これは代替案を試し、その結果を比較してそれらの中から選択することを含んでいるという意味である。次に、連想的（associative）であるということで、選択によって見つけた代替案は特定の状況と関連づけられている。進化における自然選択は選択過程の主な例であるが、これは連想的ではない。教師あり学習は連想的であるが、選択的ではない。これらを結合したものが効果の法則と試行錯誤学習によって本質的なものである。別の言い方をするならば、効果の法則が探索と記憶を組み合わせる基本的な方法の1つであるということである。この場合の探索は、各状況において多くの行動を試行して選択するという形式で、記憶はどのような行動が最も機能したかを状況と関連付けて、思い出すという形式である。このように探索と記憶を組み合わせる方法が強化学習の本質である。

強化学習 （pp.18-19）

連想記憶を扱った論文は人工知能学会誌ではほとんどなかったんだけど、国立国会図書館の記事検索で調べてみたら、電子情報通信学会の論文がたくさんあった。まだ何もしらないためいきなり論文はきつい。というわけで、

脳の情報処理

Cでつくる脳の情報システム

あたりで勉強したい。連想記憶を強化学習に応用すると何かいいことがないかなと思ってたりする。