人工知能に関する断創録

人工知能、認知科学、心理学、ロボティクス、生物学などに興味を持っています。このブログでは人工知能のさまざまな分野について調査したことをまとめています。最近は、機械学習、Deep Learning、Kerasに関する記事が多いです。



Human Agent Interaction

ヒューマンインターフェースの授業を通してたまたま見つけた論文

を読んだ。HAIというのは「人間とエージェントの相互作用、コミュニケーションを通して人間とエージェントが互いに適応していく」という考え方。ここでミソだと思うのは「人間とエージェントの相互作用」の部分。

従来の機械学習の研究の多くは、エージェントができる限り人間の介入を排除し、自律的に環境に適応することを目指していたとこの論文で述べられている。図1のイメージ。この方法の利点は、エージェントが自律性を持てること、欠点は学習に時間がかかること。この論文では特定の学習アルゴリズムについて述べてはいないが、一般的な強化学習の考え方だと思う。

f:id:aidiary:20050814103928g:plain
f:id:aidiary:20050814103944g:plain

図1に「人間とエージェント」との相互作用を入れようというのがHAIの考え方のようだ(人間を環境に含めても同じか?)。図2のイメージ。これの工学的な利点は、「学習の高速化」ってことになっている。のだけど、人間とエージェント間に相互作用性を入れることによって、エンターテインメントの要素を取り入れられるという利点もありそうだ。

Creating Advice-Taking Reinforcement Learners(2003/4/4)に書いた「学習の高速化以上の意味」というのはこのことだと思う。自分としては、勝手に学習して思いもよらない行動を取るエージェントの方が感動ものだが、人間が介入できた方が面白いというのもうなづける。

では、強化学習でHAIの考え方を取り入れた研究にはどんなのがあるか?Advice-Taking RLってのはそうだと思うが他には?前は完全自律性万歳!という考えだったが、すこし変わってきたのを感じる。