内発的動機づけ
発達の本質（2005/7/5）の続き。
何かを求めて外に向かおうとする力（＝自発性）はいったい何なのか？
「何かを求めて外に向かおうとする力」とは何なのか。この素朴な疑問への一般解が「内発的動機づけ」である。内発的動機づけとは、それ自体が内的報酬となるような活動への動機づけであり、内から外に向かう原動力といえる。
人工知能学会誌、2005年7月号、p.501
つまり、エージェント*1の外から与えられる報酬じゃなくて、エージェントの内から与えられる報酬が重要ってことか。この内的報酬が自発性の元となるらしい。では、具体的にどんな場合に内的報酬が出てくるのだろう？
例えば、「新奇性」や「学習の進み」への方向づけは内発的動機づけの好例であり、これらは大脳基底核でのドーパミン系の働きとアナロジーがとれるといわれる。ゆえに、強化学習との相性も良いようだ。
新奇性が内部報酬をもたらし自発性の元になるって考え方はとても面白い。新しいものや今まで経験してないものに目が行くってことはその例だろう。赤ん坊の好奇心が高いのもうなづける。
強化学習との相性がいいという指摘ももっともだ。ただ、もともとの強化学習は、内発的動機づけは扱わず、次に述べる外発的動機づけの仕組みに基づいている。
ちなみに「外発的動機づけ」とは、外部報酬（例：ボーナス）を得るためや罰（例：罰金）を避けるための動機づけであり、身体内部のホメオスタシスによる動機づけ（例：摂食・睡眠）も含まれる。内発的動機づけをもったロボットは、未知環境のなかで自発的に活動し、自分自身を適応的に変化させていくことで、open-endedな＜発達＞を実現できるだろう。
強化学習に内発的動機づけを導入した研究は以前紹介した。
- 報酬の自律生成（2003/2/18）
当時は、そういう話題を扱った論文はほとんどなかったけど最近はどうなんだろうな。ちょっと考えてみたくなった。「学習の進み」が内発的動機づけを促してきたのを感じるぞ。
*1:学習する主体のこと。ロボットなどを指すことが多いが、ここでは動物も人間も含む。
