Pythonによるモンテカルロ法入門

PRMLの11章で出てくるマルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods: MCMC）。ベイズでは必須と呼ばれる手法だけれどいまいち理屈もありがたみもよくわからなくて読み飛ばしていました。

最近、ボルツマンマシンを勉強していて、ベイズと関係ないのにマルコフ連鎖やらギブスサンプラーやらが出てきて本格的にわからなくなってきたのでここらで気合を入れて勉強し直すことにしました。

参考にした書籍は「Rによるモンテカルロ法入門」です。PRMLと同じく黄色い本なので難易度が高そう・・・この本はR言語を使って説明がされていますが、それをPythonで実装しなおしてみようかなーと計画中。numpy、scipyの知らなかった機能をたくさん使うので勉強になりそう。

ただRにしかないパッケージを使われると途中で挫折する可能性が高い・・・あと内容が難しすぎて途中で挫折する可能性も高い・・・

Rによるモンテカルロ法入門

このページはまとめページにしようと思います。参考文献も追加予定。

目次

• 一様乱数の生成 - numpy.randomとscipy.statsのどちらを使おう？（2014/6/21）
• 逆変換法 - 一様乱数を任意の確率分布に従う乱数に変換できる（2014/6/22）
• 逆変換法 (2) - 一様乱数からロジスティック分布、コーシー分布に従う乱数を生成する例（2014/6/23）
• 逆変換法 (3) - 一様乱数からガンマ分布、ベータ分布に従う乱数を生成する例（2014/6/25）
• 一般変換法 - 指数乱数からカイ二乗乱数、ガンマ乱数、ベータ乱数に変換（2014/6/26）
• Box-Muller法 - 二つの一様乱数から二つの標準正規分布に従う乱数を生成（2014/7/6）
• 離散的な乱数の生成 - 逆変換法と同じ原理で二項分布とポアソン分布に従う乱数を生成（2014/7/7）
• 混合分布から乱数を生成 - スチューデントのt分布と負の二項分布に従う乱数を生成（2014/7/9）
• 受理・棄却法 - PRMLでいう棄却サンプリング、どんな分布の乱数でも生成できる（2014/7/12）
• 受理・棄却法 (2) - サンプリング効率の高い提案分布を使った場合（2014/7/13）
• 受理・棄却法 (3) - ラプラス分布を提案分布として標準正規分布にしたがう乱数を生成（2014/7/16）
• 受理・棄却法 (4) - 特に名前がついていない任意の分布にしたがう乱数も生成できる（2014/7/17）
• モンテカルロ積分 - 確率分布から生成したサンプルの有限和で積分を近似する（2014/7/28）
• モンテカルロ積分 (2) - 正規分布やコーシー分布からのサンプルで積分を求める例を検証（2014/8/20）
• モンテカルロ積分の収束テスト - サンプリングする分布によって収束の速度が変わる（2014/8/30）
• 重点サンプリング (1) - 通常のモンテカルロ積分ではうまくいかないケースがある（2014/9/20）
• 重点サンプリング (2) - 重点サンプリングだと正しく計算できる（2014/9/21）
• 重点サンプリング (3) - 重点関数をいろいろ変えて収束性を判定（2014/10/2）
• 重点サンプリング (4) - 練習問題3.4の解答。重点関数として一様分布を利用（2014/10/11）
• 重点サンプリング (5) - 例3.5の解答。重点関数として切断指数分布を利用（2014/10/11）

参考

• Rによるモンテカルロ法入門読書ノート - Rによる実装、このサイトを見て興味を持ちました
• Solutions to Odd-Numbered Exercises - 奇数番号の練習問題の解答例（公式）
• Introducing Monte Carlo Methods with R - 発表スライド
• Rで学ぶ逆変換法
• マルコフ連鎖モンテカルロ法入門1
• マルコフ連鎖モンテカルロ法入門2
• http://en.wikipedia.org/wiki/Pseudo-random_number_sampling

計算統計 2 マルコフ連鎖モンテカルロ法とその周辺 (統計科学のフロンティア 12)