前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVM…

今回は、非線形サポートベクトルマシンを試してみます。線形SVM（2010/5/1）は、カーネル関数に線形カーネル（ただの内積）を使いましたが、これを多項式カーネル（A）やガウスカーネル（B）に変更します。 カーネル関数は元のベクトルxを非線形写像によって…

下巻に入って7章のサポートベクトルマシン（Support Vector Machine: SVM）を実装してみます。SVMに関しては、有名なSVMのライブラリ（libsvm）を使ったことがあるだけで、アルゴリズム詳細はPRMLで初めて学習しました。なので変なことを書いていたらコメン…

今回は、ロジスティック回帰です。この方法はPRMLで初めて知りましたが、統計学の方では一般的な方法のようです。回帰という名前がついてますが、実際は分類のためのモデルとのこと。ロジスティック回帰では、クラス1の事後確率が特徴ベクトルの線形関数のロ…

今回は、4.1.7のパーセプトロンアルゴリズムを実装します。パーセプトロンは、2クラスの識別モデルで、識別関数は式（4.52）です。 パーセプトロンは、下の条件を満たすような重みベクトルwを学習します。教師信号は、クラス1のとき教師信号+1、クラス2のと…

今回は、4.1.4のフィッシャーの線形判別を試してみました。これは、他の手法と少し毛色が違う感じがします。まず、D次元の入力ベクトルxを（4.20）で1次元ベクトル（スカラー）に射影します。ベクトル同士の内積なので結果はスカラーで、wはxを射影する方向…

4.1節は、データから識別関数を直接的に構成するアプローチとして、 最小二乗法 フィッシャーの線形判別 パーセプトロン が紹介されています。すべて線形識別モデルなので二次元なら直線、三次元なら平面、それ以上なら超平面で分離できる、つまり、線形分離…

1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティングのところを実装してみます。前回は、最小二乗法で曲線フィッティングをしたけど、ベイズ的な方法で解こうって話のようです。この2つの節では、 最尤推定 最大事後確率（MAP）推定 ベイズ推定 と…

PRMLをよく理解する&復習のために自分でもコーディングしていきます。Rを使っている方がいて（Rでベイズ線形回帰の予測分布）Rでやろうかなぁと思ったのですが慣れているPythonを使うことにしました。Pythonにも数値計算用のSciPyとNumPy、グラフ描画のmatpl…

今年の目標だったパターン認識と機械学習（PRML）を読書中。まだ完全に理解できてないところが多々あるけれど上巻が読み終わった。まだまだ数学がきつくて式変形が追いきれてないところもあったけど、ベイズ的な考え方とはどういうことか少しずつわかってき…

パターン認識と機械学習 上作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善出版発売日: 2012/04/05メディア: 単行本（ソフトカバー）購入: 6人 クリック: 33回この商品を含むブログ (13件) を見るパターン認識と機械…

集合知プログラミング作者: Toby Segaran,當山仁健,鴨澤眞夫出版社/メーカー: オライリージャパン発売日: 2008/07/25メディア: 大型本購入: 85人 クリック: 2,153回この商品を含むブログ (267件) を見るWebサービスのAPIを解説してる本だろうと勝手に思って…

OpenBayesの使い方（1）の続き。今回はデータからCPTを学習する方法を紹介します。当然ながらSprinklerの元データは手に入らないので前回のBNからCPTの確率値に従ってサンプルデータを1000個生成し、新しく作ったBNのCPTをこの1000個のサンプルデータから学…

ベイズネットワークのゲームへの応用（2008/5/2）の続き。というわけでPythonのベイズネットのライブラリであるOpenBayesの使い方をちょっとまとめておきます。ここでは、OpenBayesのチュートリアルにあるSprinklerというベイズネットを作成してみます。この…

「ゲーム開発者のためのAI入門」って本にベイズ推定とベイズネットワーク（ベイジアンネットワークとか信念ネットワークとも呼ばれますね）をゲームに応用する方法が書いてあった。ゲーム領域が不確定な状況下にあるときにプレーヤー以外のキャラクター（NPC…

歴史マイニング（2006/1/24）のつづき。銃・病原菌・鉄〈上巻〉―1万3000年にわたる人類史の謎作者: ジャレドダイアモンド,倉骨彰出版社/メーカー: 草思社発売日: 2000/10/02メディア: 単行本購入: 60人 クリック: 1,069回この商品を含むブログ (367件) を見…

グーグル・アマゾン化する社会 (光文社新書)作者: 森健出版社/メーカー: 光文社発売日: 2006/09/15メディア: 新書購入: 5人 クリック: 64回この商品を含むブログ (154件) を見る今まで読んだWeb 2.0を論じた本の中では一番面白かった。「Web 2.0万歳」ではな…

神の考えを理解する（2006/08/04）ために統計学（の基礎）を集中勉強。とりあえず下のテキストを使用してるのだけどわかりやすくていい。『はじめての統計学』は具体的な練習問題がうんざりするほどたくさんあって非常にいい。何かごりごりやってると身に付…

統計学を拓いた異才たち―経験則から科学へ進展した一世紀作者: デイヴィッドサルツブルグ,David S. Salsburg,竹内惠行,熊谷悦生出版社/メーカー: 日本経済新聞社発売日: 2006/03/20メディア: 単行本購入: 28人 クリック: 366回この商品を含むブログ (92件) …

『パターン識別』のp.44の例1。2つのカテゴリの確率分布が正規分布であって共分散行列が任意の場合、決定面は2次超曲面になる。データが2次元の場合は曲線になる。上の赤い方の分布は共分散行列が(0.5 0 : 0 2)であるためx1方向に押しつぶされた形をしている…

今日は p.36。2つの正規分布から生成されたサンプルを分離するための決定境界を求めてみる。ケース1共分散行列 の場合。ただし、決定境界は手計算で と求めてしまった。白い点の集合と黒い点の集合が見事に分断されてる。ケース1の場合は直線で分離できるの…

パターン識別（2006/6/9）を読む。p.78のコンピュータ演習5を解いてみる。いわゆる中心極限定理をシミュレーションしてみろって問題（定理の意味はキーワードリンク先参照）。Rの勉強もかねてプログラムを書いてみた。 central_limit_theorem <- function() …

パターン識別（2006/6/9）の続き。2章のベイズ決定理論まで。何か数式がピンとこないと思ってたら原因がわかった。数式がベクトルと行列で書かれているからだ。というわけで線形代数の勉強をし直し・・・プログラミングのための線形代数作者: 平岡和幸,堀玄…

日本語で言うと集団の知恵。「みんなの意見」は案外正しい作者: ジェームズ・スロウィッキー,小高尚子出版社/メーカー: 角川書店発売日: 2006/01/31メディア: 単行本購入: 13人 クリック: 216回この商品を含むブログ (264件) を見る何かハウツー本に見えるけ…

パターン識別作者: リチャード・O．デューダ,ピーター・E．ハート,デイヴィット・G．ストーク,尾上守夫出版社/メーカー: アドコム・メディア発売日: 2001/07/03メディア: 大型本 クリック: 24回この商品を含むブログ (13件) を見る2章のベイズ決定理論が理解…

第52回 人工知能セミナー（リンク切れ）がある。今回も前回（2006/03/30）と同じく人工知能学事典出版記念セミナーのようだ。知識モデリング、Webインテリジェンス、機械学習、データマイニングなどの解説。興味ある分野なのですごく聴きに行きたいけれど神…

世界でもっとも偉大で貴重な時系列データって何だと思う？株価？んなわきゃねー（笑）音楽？まあありえるかも。いろいろ考えられるけれど、私は歴史だと思うのだ。人類発祥から現在まで続くさまざまなイベントの集積。データと呼ぶのは失礼かもしれないけれ…

ついに手に入れた。ちまた（一部）でうわさのスーパー人工知能20Q。20Qはアナタの心をお見通し、頭の中に浮かべたものを20の質問だけで当ててしまう。20Q (ブルー)出版社/メーカー: バンダイ発売日: 2005/11/12メディア: おもちゃ＆ホビー クリック: 26回こ…

言語情報処理ポータルのコラム記事読んでいてlast.fmという面白いアプリケーションを知った。このアプリケーションはいわゆるインターネットラジオというやつで楽曲がフリーで聴ける。このラジオの特徴は選曲のパーソナライゼーションが可能なこと。流れる曲…

第49回人工知能セミナー（リンク切れ）に行った。HAIは以前強化学習で使えないか検討したことがあった。Human Agent Interaction（2003/12/28）。第一人者の山田誠二さんから話を聴けたのでよかった。HAIは人間とエージェント間でのインタラクション設計が目…