2015-01-01から1年間の記事一覧
2015年目標（2015/1/11）のつづき。今年ももう終わりということで目標に対する振り返り。今年は4つ目標を立てていた。 (1) Deep Learningの勉強 ◎ Deep Learningの勉強・研究は今年から本格的に始めた。主にDeep Learning Tutorialを読み、Theanoで実装しな…
今朝の読売新聞に面白い記事があったのでご紹介。 AI芸術著作権は？ 人工知能（AI）が自動的に作った楽曲や小説は「誰の作品」になるのか。政府は「AIアート」が将来、本格的に普及するとみて、 年明けから著作権のあり方について議論を始める。 そもそも著…
この記事はDeep Learning Advent Calendar 2015の9日目です。 Theanoによる自己符号化器の実装（2015/12/3）の続き。 今回は自己符号化器を継承して雑音除去自己符号化器（Denoising autoencoder）を実装した。 ソースコード全体はここ。 自己符号化器は入力…
今回からしばらくさまざまな自己符号化器（Autoencoder）を検証していきたい。深層学習のメリットである特徴の自動学習の基礎になるところなのでしっかり理解しておきたいところ。
ChainerによるCIFAR-10の一般物体認識 (1)（2015/11/8）のつづき。今回は畳み込みニューラルネットワークの畳込み層の数を変えたときにテスト精度がどのように変わるか調査した。前回と同じくCIFAR-10の一般物体認識をタスクとしている。 畳み込み2層（conv2…
Chainerによる畳み込みニューラルネットワークの実装（2015/10/7）のつづき。今回はMNISTの数字画像認識ではなく、CIFAR-10（2015/10/14）という画像データを使った一般物体認識をやってみた。画像を10個のクラスに分類するタスク。実装にはChainerを使った。…
MNISTの数字画像はそろそろ飽きてきた（笑）ので一般物体認識のベンチマークとしてよく使われているCIFAR-10という画像データセットについて調べていた。 このデータは、約8000万枚の画像がある80 Million Tiny Imagesからサブセットとして約6万枚の画像を抽…
Chainerによる多層パーセプトロンの実装のつづき。今回はChainerで畳み込みニューラルネットワーク（CNN:Convolutional Neural Network）を実装した。Theanoによる畳み込みニューラルネットワークの実装 (1)で書いたのと同じ構造をChainerで試しただけ。タス…
今回は、最初ということでChainerに付属している多層パーセプトロンのコードを動かしてみるところから始めた。
Machine Learning with Scikit Learn (Part III)（2015/9/8）のつづき。5.2節ではSupport Vector Machine (SVM)が詳しく取り上げられている。 5.2 In Depth - Support Vector Machines scikit-learnでは分類用のSupport Vector Classifierssklearn.svm.SVCと…
Machine Learning with Scikit Learn (Part II)（2015/8/26）のつづき。今回は、Part IIの動画の5.1節の内容を簡単にまとめた。書いてたら長くなったので5.1節だけ。 5.1 In Depth - Linear Models 回帰のための線形モデルの詳細が取り上げられている。線形…
Machine Learning with Scikit Learn (Part I)（2015/8/10）のつづき。今回は、後編のPartIIの動画の内容を簡単にまとめたい。 4.1 Cross Validation ラベル付きデータが少ないときに有効な評価法であるK-fold cross-validationについての説明。訓練データを…
今年の7月に開催されたSciPy2015の講演動画がEnthoughtのチャンネルで公開されている。今年も面白い講演が多いのでいろいろチェックしている。 今年の目標（2015/1/11）にPythonの機械学習ライブラリであるscikit-learnを使いこなすというのが入っているので…
Theanoによる畳み込みニューラルネットワークの実装 (1)（2015/6/26）のつづき。今回は前回できなかった ConvLayerとPoolingLayerの分離 ReLUの導入 を試してみた。 ConvLayerとPoolingLayerの分離 Deep Learning Tutorialの実装では、LeNetConvPoolLayer()…
Theanoによる多層パーセプトロンの実装（2015/6/18）のつづき。今回は、Deep Learning Tutorialの畳み込みニューラルネットワーク（Convolutional Neural Network: CNN, ConvNet）を実装してみる。 CNNは人間の視覚野を参考にした手法であり、画像認識に特化…
Theanoによるロジスティック回帰の実装（2015/5/26）のつづき。今回は、Deep Learning Tutorialの多層パーセプトロン（Multilayer Perceptron）を実装してみる。タスクは前回と同じMNISTの手書き数字認識。多層パーセプトロンはこれまでも何回か実装してきた…
Theanoによる2クラスロジスティック回帰の実装（2015/5/19）のつづき。 今回からDeep Learning Tutorialの内容にそって実装していく。このチュートリアルのコードやデータはGithub上で公開されているのでcloneしておいた。 git clone https://github.com/lis…
Theanoの使い方 (2) 自動微分（2015/5/18）のつづき。今回は、前回までの知識を使ってTheanoで2クラスロジスティック回帰の実装をしてみたい。 Deep Learning Tutorialの最初に紹介されるアルゴリズムもロジスティック回帰なのだが、こちらはMNISTの数字認識…
Theanoの使い方 (1) シンボルと共有変数（2015/5/9）のつづき。 今回はTheanoの自動微分を試してみる。ロジスティック回帰やニューラルネットなど勾配降下法を使うアルゴリズムではパラメータの更新式にコスト関数（誤差関数） の微分が必要になる。 通常、…
今回からしばらくの間、Deep Learningの各種アルゴリズムをスクラッチから実装していきたい。Pylearn2などDeep Learningのアルゴリズムを実装したPythonライブラリもあるのでスクラッチから実装する意味はほとんどないのだけれど、今回はアルゴリズムの詳細…
乗るしかないこのビッグウェーブに Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進め…
統計的声質変換 (6) 声質変換モデルの学習の続き。今回が統計的声質変換シリーズの最終回です。今回は、前回学習した声質変換モデルを使って本当に声が変換できるか試してみたい。前回やったGMMの学習でにおける各コンポーネント の と と が学習データから…
統計的声質変換 (5) scikit-learnのGMMの使い方（2015/3/22）の続き。 今回は、いよいよ声質変換モデルを混合ガウスモデル（GMM）で学習しよう！第3回目（2015/3/4）で述べたようにclbさんの声をsltさんの声に変換することを前提に進める。 今まで「声質変換…
統計的声質変換 (4) パラレルデータの作成（2015/3/10）の続き。 今回は、いよいよ声質変換モデルを混合ガウスモデルで学習しよう！と思ったのだけれど、その前にscikit-learnのGMMライブラリの使い方を簡単にまとめることにした。本格的に使う前に簡単なデ…
統計的声質変換 (3) メルケプストラムの抽出（2015/3/4）の続き。 前回は変換元のclbさんと変換先のsltさんのメルケプストラムを一括抽出した。前回の最後の結果を見ると、二人のしゃべる速さが違うためメルケプストラムが時間方向にずれていることがわかっ…
統計的声質変換 (2) ボイスチェンジャーを作ろう（2015/2/25）の続き。 前回は音声から抽出したメルケプストラムやピッチのパラメータを直接いじることで簡単なボイスチェンジャーを作った。今回からAさんの音声をBさんの音声に変換する規則を機械学習の手法…
統計的声質変換 (1) ロードマップ（2015/2/11）の続き。 統計的声質変換の第二回ということでまずは統計的じゃない声質変換の枠組みで簡単なボイスチェンジャーを作ってみたい。いきなり本題とずれているけれどここをしっかり理解できていないと統計的な方は…
Pythonで音声信号処理（2011/5/14）のつづき。 @r9y9さんの以下のチュートリアル記事をきっかけに興味をもった統計的声質変換の実験をしてみたい。統計的声質変換とはAさんの声を別のBさんの声に変換する技術のこと。 統計的声質変換クッソムズすぎワロタ（…
Deep Learningを実装するのによく使われるTheanoというPythonライブラリをWindowsマシンにインストールしたのでそのときの記録。ただ使うだけだったらPythonとnumpy/scipyをインストールした後にpip installs Theanoで普通に使えていた。実際、GPUが貧弱なMa…
年末に少しツイートしたけど6年ぶりにWindowsパソコンを新調した。今回はDellのALIENWARE X51 スプレマシーという機種を選んだ。デスクトップマシンだけど少し小型なので机の上に乗せられる。 Dell ALIENWARE X51 デスクトップPC(i7-4790/8GB/1TB/GTX760Ti/W…
