RoboCup

RoboCupについてちょっと調べてみた。人工知能学会誌の2002年11月号にロボカップの小特集が組まれていた。ロボカップというのはロボットにサッカーをやらせるやつだけど、いくつかに分かれていて、シミュレーションリーグ、小型ロボットリーグ、中型ロボットリーグ、四足ロボット（AIBO）リーグ、ヒューマノイドリーグがある。自分はロボットを扱えないのでシミュレーションリーグについてちょっと調べてみた。

秋山さんの論文*1によると、シミュレーションリーグの強豪チームは強化学習を主に使っているらしい。ちょっと長いけど引用。

TsinghuAeolusは強化学習によってヒューリスティックな知識を獲得し、その知識を用いたA*探索アルゴリズムによって動的に最適なキック列の探索を行っている。これによって、非常にスマートで強力なボールコントロールが実現されている。TsinghuAeolusは、動いているボールの追跡など、そのほかの基本技術にも強化学習を適用しており、個人レベルの技術に関しても参加チームの中では最も高いレベルに達している。強化学習によって基本技術を獲得する手法は3位のBrainstormersも用いている。TsinghuAeolusは、Brainstormersの手法を参考にして発展させている。この2チームの基本技術の強さが知られるとともに、強化学習が基本技術の獲得に有効であることもよく知られるようになってきた。今後もシミュレータが拡張され実機へ応用する場合などに、強化学習は有効なアプローチとなり得るだろう。
p.710

あらかじめすべての状態を考慮してプログラムしておくことは大変なので学習を使おうってことだと思う。人間がプログラムするよりいい結果が出せるってことの一つの証明になっているかな？（プログラミングのコストを比較しなくちゃわからないけど・・・）。

*1:秋山: サッカーシミュレーションリーグの動向, 人工知能学会誌, Vol.17, No.6, pp.708-713, 2002