Human Agent Interaction

ヒューマンインターフェースの授業を通してたまたま見つけた論文

• 山田誠二, 角所考: 適応としてのHAI, 人工知能学会誌, Vol.17, No.6, pp.658-664, 2002.

を読んだ。HAIというのは「人間とエージェントの相互作用、コミュニケーションを通して人間とエージェントが互いに適応していく」という考え方。ここでミソだと思うのは「人間とエージェントの相互作用」の部分。

従来の機械学習の研究の多くは、エージェントができる限り人間の介入を排除し、自律的に環境に適応することを目指していたとこの論文で述べられている。図1のイメージ。この方法の利点は、エージェントが自律性を持てること、欠点は学習に時間がかかること。この論文では特定の学習アルゴリズムについて述べてはいないが、一般的な強化学習の考え方だと思う。

図1に「人間とエージェント」との相互作用を入れようというのがHAIの考え方のようだ（人間を環境に含めても同じか？）。図2のイメージ。これの工学的な利点は、「学習の高速化」ってことになっている。のだけど、人間とエージェント間に相互作用性を入れることによって、エンターテインメントの要素を取り入れられるという利点もありそうだ。

• 山田誠二, 山口智浩: 人間とペットロボットの相互適応 AIBOをしつける, 情処研報 知能と複雑系, No.130, 2002.

Creating Advice-Taking Reinforcement Learners（2003/4/4）に書いた「学習の高速化以上の意味」というのはこのことだと思う。自分としては、勝手に学習して思いもよらない行動を取るエージェントの方が感動ものだが、人間が介入できた方が面白いというのもうなづける。

では、強化学習でHAIの考え方を取り入れた研究にはどんなのがあるか？Advice-Taking RLってのはそうだと思うが他には？前は完全自律性万歳！という考えだったが、すこし変わってきたのを感じる。