人工知能に関する断創録

このブログでは人工知能のさまざまな分野について調査したことをまとめています(更新停止: 2019年12月31日)

2003-01-01から1年間の記事一覧

今年やったこと

今年やりたいこと(2003/1/1)の続き。 .NET勉強したい!Windowsアプリケーション自由に作れるようになりたい! Terrarium通してC#勉強した(文法だけ)。また、Visual Studio .NETがMSDN AAによって無料で使えたので、これを機会にVisual C#使って遊んでた…

反応形成(Shaping)

に関する面白いムービーを見つけた(QuickTimeが必要)。 ベルをつつく行動のシェイピング 絵の弁別訓練 すごくおりこうな鳩だ。実際の動物で強化学習しているの始めてみたので感動した。ここでは、このムービーでやられている反応形成についてメモっとく。…

強化学習における人間とエージェントのコミュニケーション

強化学習しているエージェントに人間が介入できるような仕組みがないか探してみた。つまり、Human Agent Interaction(2003/12/28)に述べたように強化学習にHAIの仕組みを入れたようなもの。今のところ、Advice-Taking RL、反応形成(shaping)、対話的進化…

Human Agent Interaction

ヒューマンインターフェースの授業を通してたまたま見つけた論文 山田誠二, 角所考: 適応としてのHAI, 人工知能学会誌, Vol.17, No.6, pp.658-664, 2002. を読んだ。HAIというのは「人間とエージェントの相互作用、コミュニケーションを通して人間とエージェ…

心の社会(Society of Mind)

心の社会作者: Marvin Minsky,マーヴィン・ミンスキー,安西祐一郎出版社/メーカー: 産業図書発売日: 1990/07メディア: 単行本購入: 8人 クリック: 148回この商品を含むブログ (48件) を見る心の社会とは、ミンスキー氏が提案した概念。エージェントが多数集…

コンピュータゲームはAIのキラーアプリ

人工知能におけるゲームの役割(2003/12/16)の続き。Lairdさんの論文 J. E. Laird, M. V. Lent: Human-level AI's Killer Application: Interactive Computer Games (PDF), AAAI National Conference on Artificial Intelligence, 2000. を読んだ。この論文…

脳に学んだ情報処理手法の開発に向けて

脳に学んだ情報処理手法の開発に向けて(リンク切れ)っていうシンポジウムを聞きに行った。セッション2の強化学習のところが一番よくわかって面白かった。他は・・・あんまり理解できなかった。なんかミクロ(神経細胞レベル)とマクロ(脳の器官モデル)、…

人工知能におけるゲームの役割

情報処理という雑誌で『知能ロボットの技術 人工知能からのアプローチ』という特集が組まれていた。その中で M. Campbell: 人工知能におけるゲームの役割, 情報処理, Vol.44, No.11, 2003. という論文が一番面白かった。特に人工知能で扱うゲームの内容がチ…

22世紀から回顧する21世紀全史

22世紀から回顧する21世紀全史作者: ジェントリーリー,マイクルホワイト,Gentry Lee,Michael White,高橋知子,対馬妙出版社/メーカー: アーティストハウスパブリッシャーズ発売日: 2003/10メディア: 単行本購入: 3人 クリック: 9回この商品を含むブログ (10件)…

脳のはたらきのすべてがわかる本

脳のはたらきのすべてがわかる本作者: ジョン・J.レイティ,John J. Ratey,堀千恵子出版社/メーカー: 角川書店発売日: 2002/03メディア: 単行本購入: 1人 クリック: 11回この商品を含むブログ (5件) を見るを読んだ。英語のタイトルは、"A User's Guide to the…

ゲーム脳の恐怖

ゲーム脳の恐怖 (生活人新書)作者: 森昭雄出版社/メーカー: 日本放送出版協会発売日: 2002/07/10メディア: 新書 クリック: 119回この商品を含むブログ (70件) を見るって本を読んだ。小さいころからゲームやりすぎる(一日一時間でも多すぎるらしい)とゲー…

changelogメモ 続き

changelogメモ(2003/11/12)から始めたが、このWebに書いてきたことも(自分にとっては)大切な記録なので全部changelogメモに移植した。WEB上では、適当に書いてたので内容ごとに分類してないが、changelogメモでは書いた内容によって分類した。例えば、強…

changelogメモ

思いついたちょっとしたアイデアや考えたこと、読んだ本の内容、プログラミングのテクニック、ソフトウェアのインストール法など忘れそうで記録しておきたいことはいろいろある。今までは、紙というフリーソフトを使っていたがもっと面白い方法を見つけた。…

最近、面白いと思ったこと

最近、書きたいと思うことのネタが切れてきた。去年に比べて人工知能関係の本(ネタになりそうな本)を読まなくなってきたのが原因。最近、面白かったこと書きたいと思う。 JSP/サーブレット Javaは一番よく使う言語だけどサーバーサイドといわれるのはほと…

共有メモリ型並列強化学習 持ち直した・・・

強化学習を共有メモリ型の並列計算機に実装して、高速化しようとしていた。強化学習の並列化 崖っぷち(2003/10/9)で崖っぷちに追いこまれ、速くするのは絶望的な雰囲気だったが、少しだけ持ち直した。指導教授からLinuxマシン(8CPU)ではなく、Solarisマ…

BRAIN班の研究紹介

新しく研究室に入ってくる3年生に研究紹介をした。なるべく多く発表練習したいから自分がやらせてもらったが、4年生に任せた方がよかったか・・・私はBRAIN班ってのに所属してる(BRAINはちょっと大袈裟だと思うけど)。研究分野は人工知能、強化学習、ニュ…

脳のからくり

脳のからくり―わくわくドキドキする脳の話作者: 竹内薫,茂木健一郎出版社/メーカー: 中経出版発売日: 2003/09メディア: 単行本この商品を含むブログ (6件) を見るっていう一般向けの脳の本を読んだ。この本の監修者の茂木健一郎さんは最近よく名前を目にする…

強化学習の並列化 崖っぷち

共有メモリ型の方も、分散メモリ型の方もどっちもまずい。エージェントを増やすことによる収束エピソードの短縮より、オーバヘッドの方がずっと大きい。共有の方は、キャッシュミスの頻発が原因で、分散の方は各PEの負荷が異なることによる同期待ちが原因の…

テトリスの学習 続き

テトリスの学習(2003/9/30)の続き。テトリスくらい楽だろうと思っていたが、想像以上に難しい(まあいつものことだが)。強化学習を実装して、実行したまま1日放置してみたが、全く変化なしだった。へたくそのまま。2,800,000エピソードまで学習させたの…

テトリスの学習

強化学習を使ったおもちゃとして、今回はテトリスをやってみようと思う。テトリスの場合、迷路より状態行動空間が大きくなるため状態の一般化がかかせない。つまり、状態行動価値の表現をテーブルではなく、線形関数やニューラルネットにする必要がある。テ…

シートン動物記

このような動物の来歴話を集めてみると、そこには、おのずからひとつの一般的な考えが提示される。それは前世紀なら、さしずめ教訓とか道徳といわれた種類のものであろう。もちろん人はそれぞれの考えに従って、その好みにあった教訓を見出すであろう。だが…

PCクラスタ上での強化学習 探査率の影響

MPIで一番簡単な方式を実装した。 127X127の迷路問題 簡単のためマスター1つ、スレーブ1つで構成 スレーブからマスターへの行動価値テーブルの送信は2000エピソードごとに行う マスターは送られてきたテーブルを結合する テーブルの結合は更新回数で重みづけ…

強化学習の応用事例 続き

強化学習がどんな応用に使われるか列挙してみる。 セルラー通信システムの周波数帯の動的割り当て 在庫管理・生産ラインの最適化 ジョブショップスケジューリング エレベータ群制御 電力網の分散学習制御 インターネットバナーの最適化 コンパイラの命令スケ…

強化学習の応用事例

今年の合宿では強化学習がどんな応用に使われていて、どのようなことが期待できるのかを簡単に発表した。そのまとめ。強化学習の特徴は次のようにまとめられる*1。 設計者が「何をすべきか」をエージェントに報酬という形で指示しておけば「どのように実現す…

ロボットと自閉症児

人生の教科書[ロボットと生きる]作者: 藤原和博出版社/メーカー: 筑摩書房発売日: 2003/07/26メディア: 単行本 クリック: 3回この商品を含むブログ (5件) を見るという本にロボットも自閉症児も同じ「弱さ」を持っているというタイトルで面白い記事(著者は…

PCクラスタ上での強化学習 Qテーブルの結合

共有メモリ型の方もまだ問題があるが、分散メモリ型の方を少し考えた。クラスタ上で並列に強化学習を行う場合に最も問題となるのは、別々に学習したQテーブルをうまく結合できるかという点だと思う。というわけで実験してみた。結果が次のグラフ。PC1とPC2で…

ワクチンウィルス

MSブラスト(ラブサン)っていうウィルス(ワーム)が流行っているみたいだけど、それを退治してパソコンを修復してまわるMSブラストDっていうウィルス(ワーム)があるらしい。ワクチンウィルスとでも呼ぶべきか。前にワーム(2002/2/28)に「自動的にウィ…

報酬の例2

Skinnerは、特定のクラスの条件性強化子に対して「般性強化子」という用語を使った。おそらく般性強化子の最もよい例はお金であろう。この強化子が、社会で働いている人の行動を維持していることは明白である。もし雇用者が、もう一切給料を払わないと言えば…

報酬の例

強化学習においての報酬とは現実の何にあたるのかという問題は少し気になる。例えば、強化学習と報酬(2002/11/20)とか報酬の自律生成(2003/2/18)で少し考えていた。強化学習を最適化アルゴリズムの一種と考えればそんなことどうでもよい問題(報酬はタス…

メイザーの学習と行動

メイザーの学習と行動作者: ジェームズ・E.メイザー,磯博行,坂上貴之,川合伸幸出版社/メーカー: 二瓶社発売日: 1999/09メディア: 単行本 クリック: 13回この商品を含むブログ (8件) を見るを読む。著者はジェームズ・E.メイザー。動物の学習心理学に関する本…