AIBOのプログラミングをOPEN-R SDKというのを使って行った。プログラミング言語はC++。まずサンプルコードを読むことからはじめた。今日は、オブジェクト間の通信、LEDの点灯、耳の動作、首の動作についてコードを読み、実行してみた。思っていたほど難しく…

UDがん研究プロジェクト（2007年終了）とは新たな抗がん剤となる可能性のある分子を世界中のパソコンの余力を利用して探し出そうというプロジェクト。今日インストールして参加した。現在、世界中でUDに最も貢献しているのはあの2ch。というわけで自分もUD@T…

今日、自分の所属している研究室にAIBOが来た。ROBODEXなどで間近で見たことはあったけど触るのは始めてなので面白かった。ロボットのプログラムとか興味があったので調べてみたい。今日結構長い時間見てたのだけど、当然のごとく心や感情（とは何かもよくわ…

Neuro-Dynamic Programming (Optimization and Neural Computation Series, 3)作者: Dimitri P. Bertsekas,John N. Tsitsiklis出版社/メーカー: Athena Scientific発売日: 1996/10/01メディア: ハードカバー クリック: 3回この商品を含むブログ (2件) を見る…

動物行動学は強化学習と関係がある。もともと「強化」という概念はこの分野で使われていた言葉のようだ。というわけでいくつか本を読んでみた。ティンバーゲンは読んだが内容をメモっとくの忘れてしまった。バーネットは今読んでいる最中なので面白い話は載…

最近、 テラリウムというのをやっている。テラリウムはMicrosoft .NET Frameworkテクノロジを使用したマルチユーザーネットワーク対戦型ゲーム。P2Pでパソコン同士をつないで大きな生態系（もどき）を作り、仮想的な虫の生存競争を繰り広げる。参加者は肉食…

空白期があったけどなんとなく再開。今年は強化学習の並列化というテーマで研究（になってればいいが）しようと思う。去年の強化学習のサーベイにより強化学習は非常に遅い点が問題となっていることがわかった。後でまとめるが「強化学習が遅い」といった場…

このアルゴリズムの位置づけは下の図のようになっていると思われる。アドバイスあり強化学習のアドバイスはニューラルネットの正解に相当すると思う。ニューラルネットは常に正解を必要とする。一方、アドバイスあり強化学習はニューラルネットに比べてわず…

Creating Advice-Taking Reinforcement Learners強化学習に教示を導入することによって高速化している。ここでの高速化は収束までのエピソード数（状態の知覚、行動、報酬の獲得が1エピソード）の短縮を意味している。強化学習は知識が全くないところから学…

聞きかじりの知識では脳の扁桃核ってところが「好き嫌い」を司っているらしい。報酬の自動設定（強化学習の報酬は人間が設定するのが一般的だが、エージェントが自律的に設定するにはどうすればよいかっていう前に考えたこと）と似ているような気がする。大…

について考えたことのメモ。強化学習の応用にあたっての重要な問題点に学習速度が非常に遅いということがあげられていた。学習が遅い原因として状態・行動対の価値の評価を試行錯誤的に行うからだと認識している。今まで調べてきて学習の高速化に焦点をあて…

今日の読売新聞に面白い記事が載っていた。 富士通は二十七日、ロボットに歩行や起立などの基本動作を一分以内に教え込ませることができるシステムを開発したと発表した。これまでは「起立」を教えるのに、二、三日かかっていたが、ロボットの手足を動かす「…

という雑誌を買った。今日が創刊号の発売日できりがよかった。毎週、（移動）ロボットの部品がついていて、くみ上げると移動ロボットができる仕組み。最終的にどういうのができるのか調べてみたところ、移動機構、光センサ、ライン追跡装置、超音波センサ、…

報酬の自律生成（2003/2/18）の続き。強化学習においてエージェント内部で報酬を自律生成させたい。手がかりがなかったのだが、それらしいのを見つけた。望月: 強化学習エージェントにおける多様な内部評価系の自己組織的形成, 1999神戸大学の修士論文のよう…

今年も輪講が始まった（2人しかいないので輪になっていないが・・・）。テーマは一応「連想記憶」ってことになった。強化学習を調べていたから忘れていたけど、連想機械アソシアトロン（2002/6/26）に興味があって調べていたことがあった。ニューラルネット…

猫でもわかるWindowsプログラミングを読了した。猫でもわかるって本当かよ・・・という感じだったが、他の本に比べて分かりやすかった。Windows APIをもろに使うプログラミングの基礎（の基礎か？）は分かった。残りの話題はWebを見ながらやっていく。次はMF…

というようなわけで、RoboCupのシミュレーションをかじってみることにした（優勝するぞ！って本気でやるのは無理っぽい。プログラムもかなり大規模化しているらしい）。その先がけとして、RoboCupではじめるエージェントプログラミング作者: 高橋友一,伊藤暢…

RoboCupについてちょっと調べてみた。人工知能学会誌の2002年11月号にロボカップの小特集が組まれていた。ロボカップというのはロボットにサッカーをやらせるやつだけど、いくつかに分かれていて、シミュレーションリーグ、小型ロボットリーグ、中型ロボット…

の一般向けの本をいくつか読んだ。ロボット21世紀 (文春新書)作者: 瀬名秀明出版社/メーカー: 文藝春秋発売日: 2001/07メディア: 新書この商品を含むブログ (12件) を見る大人のための徹底!ロボット学―最新テクノロジーから、ロボカップまで作者: 北野宏明出…

強化学習は心理学ではオペラント条件付けと呼ばれ、報酬は強化因子と呼ばれている。山脇さんの論文*1に強化因子、つまり報酬の種類として3つあげられていた。強化因子とは人を動かす力のあるものであり、嗜好品のような一次性強化因子、賞賛のような社会的強…

強化学習のサーベイを行ったが、その中で一番面白いと思った論文は、山口: 強化信号のコミュニケーションに基づくマルチエージェント強化学習、 情報処理学会研究報告 知能と複雑系、 Vol.2000-ICS-121, pp.91-98, 2000何が面白いかというと強化学習における…

Cogプロジェクトについて調べることにした。ここのFAQに次のような面白いものがあった。 Q: コグってチューリングテストに通るの？ A: 通りません。だけど人間の幼児だって通らないでしょう？

卒論でも自律エージェント、自律ロボットって言葉を使っていたけど、果たして「自律」の定義とは何か。自律エージェント、自律ロボットって何ができたらそう呼べるのかってことが少しあいまいだった。知の創成―身体性認知科学への招待作者: ロルフファイファ…

今日は、放送大学で「心的発達と教育・社会化」という認知科学の話がやっていた。発達というのは広辞苑によると、 個体がその生命活動において、環境に適応してゆく過程、人類の文化遺産の習得によって身体的、精神的に変化する過程、成長と学習との二要因を…

猫でもわかるWindowsプログラミング 第2版 (Neko series)作者: 粂井康孝出版社/メーカー: ソフトバンククリエイティブ発売日: 2004/09/29メディア: 単行本 クリック: 6回この商品を含むブログ (27件) を見るを買った。猫でもわかるプログラミングというサイ…

今日も見た。今日は情報と生命科学の話。つまり、バイオインフォマティクス。解説は、小長谷さん。小長谷さんは、前に人工知能学会のセミナーに行ったとき、話を聞いたことがあった。顔を知っていると親しみがわく。小長谷さんは、人工知能学会誌で解説もよ…

教科書っぽいというのは自分でも少し感じていたけど、没にならなくてよかった。今日は、卒論の修正を少しした。加筆修正として、以下のことをする。 国内、海外での研究拠点ごとの研究動向を表にしてまとめる。 強化学習研究の主な拠点。東工大（小林さん、…

新聞のTV欄見てたら、放送大学（家では5ch）で「情報装置としての人間」というのがやっていたので見てみた。たった45分だったけどかなり面白かった。講師は植田一博さんと佐倉統さん。佐倉さんは何かの本を読んだので名前は知っていた（結構若い人なんで驚い…

私事だけど。突然片耳だけ聞こえなくなってしまった。どうやら突発性難聴というらしい。もう５日も治療を続けているけど全くよくならない。片耳だけってのがせめてもの救いだ。ストレスが原因っていうけど・・・卒論か？このくそ忙しい時期になるなんて本当…

入院中にあまりにも暇なので、複雑系―科学革命の震源地・サンタフェ研究所の天才たち (新潮文庫)作者: M.ミッチェルワールドロップ,Mitchell M. Waldrop,田中三彦,遠山峻征出版社/メーカー: 新潮社発売日: 2000/05メディア: 文庫購入: 4人 クリック: 45回こ…