増補改訂版Java言語で学ぶデザインパターン入門作者: 結城浩出版社/メーカー: ソフトバンククリエイティブ発売日: 2004/06/19メディア: 大型本購入: 51人 クリック: 762回この商品を含むブログ (399件) を見るを買った。この本はJavaを使って23個のデザイン…

センサーについて勉強した。ひとまず背中か頭のセンサーを触るとLEDがつくようなのを作ってみようと思う。強化学習を使ってなんかやりたいけどまだまだ無理そう。

ニューラルネットと記号処理（2002/6/20）とかいう題で考えたことの記録があった。ニューラルネットと記号処理を結びつけるような研究は行われているのか？という疑問だったのだが行われていることがわかった。今、「記号とパターンの統合」という授業を取っ…

をプログラムしてみた。N本腕バンディット問題（2002/9/6）でも実験したことあったけどコード、結果は載せなかったので再度取り上げる。N本腕バンディット問題を簡単に説明する。目の前にN本レバーがあるとし、各レバーを引くとお金（報酬）がもらえる。レバ…

どのくらい高速化できるのか調べてみた。結果は次のグラフのようになった。10以上に増やしてもこの問題（197x197の迷路問題）ではこれ以上速くならなかった。他に、各エージェントの初期位置をランダムに配置するようにして実験してみた。こうすれば状態空間…

研究とは何にも関係ない私事だけど突発性難聴（2003/1/16）にいきなり片耳が聞こえなくなったって書いた。あれから4ヶ月くらい服薬して治療を続けたけど結局直らなかった。もうそろそろ障害が固定してしまう時期がくる（普通は1ヶ月過ぎると回復しないが、半…

（注）この結果は間違いでした。共有メモリ型並列計算機上での強化学習（2003/7/6）を参照。学習曲線を描いてみた。タスクは197x197の迷路問題。状態数は約40000、行動数は上、下、右、左の4つ。よってQテーブルは40000x4の二次元配列で表した。縦軸はスター…

講座現代の心理学〈1〉心とは何か作者: 藤永保出版社/メーカー: 小学館発売日: 1981/10メディア: 単行本この商品を含むブログを見るって本に心に関する疑問点が列挙されていた。そこに「心は胸のあたりにあるように感じられるのはなぜでしょうか」というのが…

今日は、共有メモリ型並列計算機で強化学習を実装する前段階としてスレッドを使って逐次計算機上で実装してみた。構想しているのは下の図のような感じ。共有メモリ上にQテーブルがある。異なるプロセッサ（PE:Processing Elementと表記）上で動いているエー…

を書いた。acrobat.jar鉄棒の体操選手が脚を高く振り上げるのをシミュレーションしたようなもの。今回は参考ソースがなかったので前に作った倒立振子を参考に苦労して作った。特に運動方程式が複雑でかなり疲れた。棒の動きを見て、機械学習はすごいと改めて…

倒立振子アプレット（2002/10/26）は、Actor-Criticを使っていたけど今回はテーブル型Q学習を使った。グラフィックは面倒なのでなし。Q学習を使ったので探査率 epsilon の影響がかなり大きくなった。探査率を大きくしてランダムな行動を取らせる確率を高くす…

は並列分散遺伝的アルゴリズムと呼ばれている。GAも複雑な問題では計算に膨大な時間がかかることが問題点となっている。日経サイエンス2003年5月号に「発明家に追いついた遺伝的プログラミング（GP:Genetic Programming）」という記事が載っていた。この記事…

強化学習の並列化を行っている研究（昨日の）はテーブル形式の状態行動空間（Qテーブル）を各プロセッサに分割する方法が取られている。しかし、状態行動空間が巨大な場合はテーブル形式で表すことはできずニューラルネットなどを用いて状態を汎化する方法が…

最近、面白いと思うネタがあまりない。今日は強化学習に関する論文について整理しておくことにする（書いててもあまり面白くないが）。 A. M. Printista: A parallel implementation of Q-Learning based on communication with cache (PDF) 自分がやろうと…

強化学習を並列化して学習を高速化させるというのを研究のテーマにしようと目論んでいる。並列計算にはMPIというライブラリを使う。というわけでMPIについて『MPI並列プログラミング』という本を読んでいる。MPI並列プログラミング作者: P.パチェコ,Peter S.…