共有メモリ型並列計算機上での強化学習 複数CPU（2003/8/1）の続き。前の結果を見ると、1スレッドと2スレッドの間は10倍遅くなっているが3スレッドにすると速くなっている。何か怪しかったけどさらにスレッドを増やして測定してみた。学習曲線は学習収束まで…

共有メモリ型並列計算機上での強化学習（2003/7/23）の続き。同期を取っていたせいで実行速度が遅いと思っていたので、同期を全く取らないように修正し、収束するまでの時間を測定した。結果、1スレッド 6秒、2スレッド 約50秒、3スレッド 約24秒・・・何な…

研究テーマを決めるのは本当に難しいと実感した二日間だった。能力、実現可能性、期間、社会の要請、研究意義、面白さの間に解決し難いトレードオフが存在している。あと、だんだん発表になれて、頭が真っ白になって思考停止することはなくなってきた。よか…

共有メモリ型並列計算機上での強化学習（2003/7/6）で間違いに気づいて同期を使うことになった。苦労してやっと実装したが、無茶苦茶遅くなった。並列計算しようと思ってスレッドを作るたび、実行速度が落ちるのが目に見えて分かる。どうやら同期に使ったmut…

人工知能学会誌の今月号の特集は「知の起源」というテーマで面白い論文が多かった。その中の 鈴木宏昭: 認知の創発的性質 : 生成性, 冗長性, 局所相互作用, 開放性 という論文で Change Blindness という面白い現象が紹介されていた。ある画像とその一部だけ…

生命40億年全史作者: リチャードフォーティ,Richard A. Fortey,渡辺政隆出版社/メーカー: 草思社発売日: 2003/03メディア: 単行本購入: 4人 クリック: 45回この商品を含むブログ (40件) を見るこの本は40億年前に宇宙の塵から生命が誕生したところから人類誕…

について勉強した。EM（Expectation-Maximization）アルゴリズムというのは不完全データからの最尤推定法の一種。なんかどこかで聞いたことあると思ったら前にバイオインフォマティクスで隠れマルコフモデルをやってたときに出てきていた。最尤推定ってやつ…

行動のない思考は無力。心によるシミュレーションは行動に必ずしも反映しない。想っているだけでは何も伝わらないし、何も変わらない。 思考だけして行動しないシステムより、行動だけして思考しないシステムの方がよほど知的だ シミュレーションによる行動…

マッチ箱の脳(AI)―使える人工知能のお話作者: 森川幸人出版社/メーカー: 新紀元社発売日: 2000/12メディア: 単行本購入: 3人 クリック: 60回この商品を含むブログ (36件) を見るこの本は森川幸人さんというゲーム業界の人が書いた本で他の人工知能の本とは一…

共有メモリ型並列計算機上での強化学習（2003/6/18）で1エージェントの収束に比べて、2エージェントの収束がやけに早いことが疑問だったが原因がわかった。各エージェントはスレッドで同じ関数を実行していたのだけど、エージェント1のスレッドだけに画面へ…

思考だけして行動しないシステムより、行動だけして思考しないシステムの方がよほど知的だ。 R. Brooks 目から鱗が落ちた。

今日の予定の２つ目。ボルツマンマシンについて勉強した。ボルツマンマシンはニューラルネットワークの１種。パーセプトロンのような階層型ネットワークではなく、相互結合型のネットワーク。最初、パーセプトロンの拡張だと思っていたせいでなかなか理解で…

OpenMPは共有メモリ型並列計算のライブラリ。これについていろいろ調べてたところ、フリーのOpenMPコンパイラであるOmni OpenMPというのを知った。早速、Linuxにインストールしようとしてあれこれやって時間をつぶしたが結局できなかった。また明日やるか・…

増補改訂版Java言語で学ぶデザインパターン入門作者: 結城浩出版社/メーカー: ソフトバンククリエイティブ発売日: 2004/06/19メディア: 大型本購入: 51人 クリック: 762回この商品を含むブログ (399件) を見るを買った。この本はJavaを使って23個のデザイン…

センサーについて勉強した。ひとまず背中か頭のセンサーを触るとLEDがつくようなのを作ってみようと思う。強化学習を使ってなんかやりたいけどまだまだ無理そう。

ニューラルネットと記号処理（2002/6/20）とかいう題で考えたことの記録があった。ニューラルネットと記号処理を結びつけるような研究は行われているのか？という疑問だったのだが行われていることがわかった。今、「記号とパターンの統合」という授業を取っ…

をプログラムしてみた。N本腕バンディット問題（2002/9/6）でも実験したことあったけどコード、結果は載せなかったので再度取り上げる。N本腕バンディット問題を簡単に説明する。目の前にN本レバーがあるとし、各レバーを引くとお金（報酬）がもらえる。レバ…

どのくらい高速化できるのか調べてみた。結果は次のグラフのようになった。10以上に増やしてもこの問題（197x197の迷路問題）ではこれ以上速くならなかった。他に、各エージェントの初期位置をランダムに配置するようにして実験してみた。こうすれば状態空間…

研究とは何にも関係ない私事だけど突発性難聴（2003/1/16）にいきなり片耳が聞こえなくなったって書いた。あれから4ヶ月くらい服薬して治療を続けたけど結局直らなかった。もうそろそろ障害が固定してしまう時期がくる（普通は1ヶ月過ぎると回復しないが、半…

（注）この結果は間違いでした。共有メモリ型並列計算機上での強化学習（2003/7/6）を参照。学習曲線を描いてみた。タスクは197x197の迷路問題。状態数は約40000、行動数は上、下、右、左の4つ。よってQテーブルは40000x4の二次元配列で表した。縦軸はスター…

講座現代の心理学〈1〉心とは何か作者: 藤永保出版社/メーカー: 小学館発売日: 1981/10メディア: 単行本この商品を含むブログを見るって本に心に関する疑問点が列挙されていた。そこに「心は胸のあたりにあるように感じられるのはなぜでしょうか」というのが…

今日は、共有メモリ型並列計算機で強化学習を実装する前段階としてスレッドを使って逐次計算機上で実装してみた。構想しているのは下の図のような感じ。共有メモリ上にQテーブルがある。異なるプロセッサ（PE:Processing Elementと表記）上で動いているエー…

を書いた。acrobat.jar鉄棒の体操選手が脚を高く振り上げるのをシミュレーションしたようなもの。今回は参考ソースがなかったので前に作った倒立振子を参考に苦労して作った。特に運動方程式が複雑でかなり疲れた。棒の動きを見て、機械学習はすごいと改めて…

倒立振子アプレット（2002/10/26）は、Actor-Criticを使っていたけど今回はテーブル型Q学習を使った。グラフィックは面倒なのでなし。Q学習を使ったので探査率 epsilon の影響がかなり大きくなった。探査率を大きくしてランダムな行動を取らせる確率を高くす…

は並列分散遺伝的アルゴリズムと呼ばれている。GAも複雑な問題では計算に膨大な時間がかかることが問題点となっている。日経サイエンス2003年5月号に「発明家に追いついた遺伝的プログラミング（GP:Genetic Programming）」という記事が載っていた。この記事…

強化学習の並列化を行っている研究（昨日の）はテーブル形式の状態行動空間（Qテーブル）を各プロセッサに分割する方法が取られている。しかし、状態行動空間が巨大な場合はテーブル形式で表すことはできずニューラルネットなどを用いて状態を汎化する方法が…

最近、面白いと思うネタがあまりない。今日は強化学習に関する論文について整理しておくことにする（書いててもあまり面白くないが）。 A. M. Printista: A parallel implementation of Q-Learning based on communication with cache (PDF) 自分がやろうと…

強化学習を並列化して学習を高速化させるというのを研究のテーマにしようと目論んでいる。並列計算にはMPIというライブラリを使う。というわけでMPIについて『MPI並列プログラミング』という本を読んでいる。MPI並列プログラミング作者: P.パチェコ,Peter S.…

という授業を聞きにいった。講師はなんと北野宏明さん。北野さんのお名前は遺伝的アルゴリズムのサーベイしていた時に始めて知ったが、実際に会ったのは始めて。人工知能学会誌2002年11月号の学生フォーラム（p.701）に略歴が紹介されている。とにかくすごい…

今日は、脚の動きについてのサンプルを読んだ。オブジェクト間通信という形を取っているので慣れないうちはとっつきにくい。実際にやってみる前は、leg.Move（30度）のように指定できるものと思っていたけど、実際はそんなに簡単ではない。命令データを表す…