Pythonによるモンテカルロ法入門（2014/6/20）最初にPythonで [0.0, 1.0] 間の一様乱数を生成してみます。 一様分布 一様分布（Uniform distribution）の確率密度関数（pdf）は下の式になります。 引用：http://en.wikipedia.org/wiki/Uniform_distribution_…

PRMLの11章で出てくるマルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods: MCMC）。ベイズでは必須と呼ばれる手法だけれどいまいち理屈もありがたみもよくわからなくて読み飛ばしていました。最近、ボルツマンマシンを勉強していて、ベイズと関…

Courseraの機械学習ネタの続き。前回は、ロジスティック回帰のパラメータ推定（2014/4/15）に共役勾配法（Conjugate Gradient: CG法）を使いました。今回はより複雑なニューラルネット（多層パーセプトロン）のパラメータ推定に共役勾配法を適用してみました…

Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います…

今回もCourseraの機械学習ネタ。Courseraの講義ではロジスティック回帰やニューラルネットのパラメータ学習に共役勾配法（conjugate gradient method: CG法）やBFGSアルゴリズム（Broyden–Fletcher–Goldfarb–Shanno algorithm）*1 を使っていました。よく使…

線形回帰による直線フィッティング（2014/4/1）のつづき。今回は、線形回帰で曲線フィッティングをしてみます。PRMLによると、線形回帰で曲線のフィッティングをするためには、入力変数を非線形の基底関数（basis function）で変換すればよいそうです。今回…

パターン認識と機械学習（PRML）まとめ（2010/8/29）のつづき。PRML3章の線形回帰（Linear Regression）を実装してみます。そういえば、3章の実装はまるまる無視していた。何でだろう？今回は、受講している Courseraの機械学習コースの第一週目の課題を参考…

ラブレス夫人も、バベッジに劣らずはっきりと気づいていたことであるが、解析機関の発明によって、ことに解析機関が「自分の尻尾を食べること」が可能になったときには、人類は機械化された知能をもてあそぶようになる。適度に複雑な再帰的システムはどんな…

多層パーセプトロンで手書き数字認識（2014/2/1）の続き。今回は、簡易版のdigitsデータではなく、MNISTのより大規模な手書き数字データを使って学習してみます。 MNISTデータ MNISTは、28x28ピクセル、70000サンプルの数字の手書き画像データです。各ピクセ…

多層パーセプトロンが収束する様子（2014/1/23）の続き。数字認識は前にニューラルネットによるパターン認識（2005/5/5）をJavaで作りましたが今回はPythonです。今回は、多層パーセプトロンを用いて手書き数字を認識するタスクを実験します。今回からscikit…

多層パーセプトロンによる関数近似（2014/1/22）の続きです。もう少しスクリプトを改造し、実際に各重みと出力がどのように収束するかアニメーションにしてみました。ほとんどの関数は最初に急激に変化したあとだんだん収束していく様子が見てとれます。|x|…

パターン認識と機械学習（PRML）まとめ（2010/8/29）の続きです。以下、つづくかも？になってましたが、2014年はDeep Learningを勉強しよう（2014/1/4）と思っているので、関連するニューラルネットワーク関係の実験結果をもう少し追記します。今回は、PRML…

2014年にやりたいなと思っていることをまとめてみた。今年は自由に使える時間が今までより増える予定なので欲張ってみました（笑） (1) 複雑系の深耕 去年から続けているComplexity Explorer（2013/10/21）のコースを引き続き受講する。今年は、以下の講義が…