パターン認識と機械学習（PRML）まとめ

2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。

PRMLのPython実装

• PRML読書中（2010/3/26）
• 多項式曲線フィッティング（2010/3/27）
• 最尤推定、MAP推定、ベイズ推定（2010/4/4）
• 分類における最小二乗（2010/4/24）
• フィッシャーの線形判別（2010/4/25）
• パーセプトロン（2010/4/29）
• ロジスティック回帰（2010/4/30）
• 線形SVM（2010/5/1）
• 非線形SVM（2010/5/2）
• ソフトマージンSVM（2010/5/3）
• K-meansクラスタリング（2010/5/15）
• 混合ガウスモデルとEM（2010/5/21）

今後は、応用も重視していきたいと思っています。PRMLを読んだだけだと機械学習の理論って何かすごそうだけど結局何の役に立つの？って感じで終わってしまいそう。機械学習の応用範囲はものすごく広いけど、まずは自然言語処理との接点であるテキスト分類を研究してみる予定です。あと今までPythonを使ってきましたが、Rもなんかよさそうだなぁと思って浮気中。もしかしたらRに寝返るかも（笑）

パターン認識と機械学習 上

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

Courseraの機械学習コース

Courseraで公開されているNg教授の機械学習コースの宿題はMatlabで解きましたが、同じ問題をPythonで解いてみました。

• 線形回帰による直線フィッティング（2014/4/1）
• 線形回帰による曲線フィッティング（2014/4/2）
• 共役勾配法によるコスト関数最適化（2014/4/14）
• 共役勾配法によるロジスティック回帰のパラメータ推定（2014/4/15）
• 多層パーセプトロンによる関数近似（2014/1/22）
• 多層パーセプトロンが収束する様子（2014/1/23）
• 多層パーセプトロンで手書き数字認識（2014/2/1）
• 多層パーセプトロンによるMNISTの数字認識（2014/2/5）
• 共役勾配法によるニューラルネットのパラメータ推定（2014/5/22）

このコースはとてもよいのでオススメです。私も修了しました。

Pythonによるモンテカルロ法

PRMLの11章のマルコフ連鎖モンテカルロ法をより詳しく理解するために「Rによるモンテカルロ法入門」をベースにPythonで実装しています（現在進行中）。scipyの確率分布に関するライブラリをたくさん使っています。

• Pythonによるモンテカルロ法入門（2014/6/20）
• 一様乱数の生成 - numpy.randomとscipy.statsのどちらを使おう？（2014/6/21）
• 逆変換法 - 一様乱数を任意の確率分布に従う乱数に変換できる（2014/6/22）
• 逆変換法 (2) - 一様乱数からロジスティック分布、コーシー分布に従う乱数を生成する例（2014/6/23）
• 逆変換法 (3) - 一様乱数からガンマ分布、ベータ分布に従う乱数を生成する例（2014/6/25）
• 一般変換法 - 指数乱数からカイ二乗乱数、ガンマ乱数、ベータ乱数に変換（2014/6/26）
• Box-Muller法 - 二つの一様乱数から二つの標準正規分布に従う乱数を生成（2014/7/6）
• 離散的な乱数の生成 - 逆変換法と同じ原理で二項分布とポアソン分布に従う乱数を生成（2014/7/7）
• 混合分布から乱数を生成 - スチューデントのt分布と負の二項分布に従う乱数を生成（2014/7/9）
• 受理・棄却法 - PRMLでいう棄却サンプリング、どんな分布の乱数でも生成できる（2014/7/12）
• 受理・棄却法 (2) - サンプリング効率の高い提案分布を使った場合（2014/7/13）
• 受理・棄却法 (3) - ラプラス分布を提案分布として標準正規分布にしたがう乱数を生成（2014/7/16）
• 受理・棄却法 (4) - 特に名前がついていない任意の分布にしたがう乱数も生成できる（2014/7/17）
• モンテカルロ積分 - 確率分布から生成したサンプルの有限和で積分を近似する（2014/7/28）
• モンテカルロ積分 (2) - 正規分布やコーシー分布からのサンプルで積分を求める例を検証（2014/8/20）
• モンテカルロ積分の収束テスト - サンプリングする分布によって収束の速度が変わる（2014/8/30）
• 重点サンプリング (1) - 通常のモンテカルロ積分ではうまくいかないケースがある（2014/9/20）
• 重点サンプリング (2) - 重点サンプリングだと正しく計算できる（2014/9/21）
• 重点サンプリング (3) - モンテカルロ積分の収束性の検証（2014/10/2）
• 重点サンプリング (4) - 重点関数による収束性の違い（2014/10/11）
• 重点サンプリング (5) - 切断指数分布を用いた重点サンプリング（2014/10/11）

関連サイト

※まだまだ追加中です

• Christopher M. Bishop | PRML - 著者のページ
• 朱鷺の杜Wiki - PRMLのサポートページ
• 機械学習はじめよう - 技術評論社の連載記事
• PRML合宿まとめサイト
• PRML読んでやってみた（上巻編）
• PRML読んでやってみた（下巻編）
• 機械学習とパターン認識（PRML）のアンチョコ - PDFファイルはここにある
• PRMLの読む章・飛ばす章（私家版）
• 数式をnumpyに落としこむコツ
• Machine Learning Advent Calendar 2012
• 機械学習のPythonとの出会い
• これからはじめる人のための機械学習の教科書まとめ
• 「機械学習とは何ぞや」をゆるーく説明してみる
• 機械学習アルゴリズムへの招待
• 機械学習を知識ゼロから学ぶpdf
• ニューラルネットワーク入門

関連図書

パターン認識と機械学習の学習―ベイズ理論に挫折しないための数学

これなら分かる応用数学教室―最小二乗法からウェーブレットまで

これなら分かる最適化数学―基礎原理から計算手法まで

プログラミングのための線形代数

プログラミングのための確率統計

言語処理のための機械学習入門 (自然言語処理シリーズ)

フリーソフトではじめる機械学習入門

フリーソフトでつくる音声認識システム?パターン認識・機械学習の初歩から対話システムまで?

統計的学習の基礎 ―データマイニング・推論・予測―