モダリティを超えて - 人工知能に関する断創録

2018年の目標（2018/1/1）にも書いたように今年はマルチモーダル深層学習の深耕を目標に上げていました。社内の輪講会でマルチモーダル深層学習の研究動向について発表する機会があったので資料を公開します。

マルチモーダル深層学習の研究動向 from Koichiro Mori

をベースに自分なりに調査した研究を追加してまとめています。

上の論文では、モダリティとして言語・音声・画像のみを取り上げているのですが、私はここに行動（制御）も付け加えています。

また、発表時間の関係から一部の研究を省略しています。他にも面白い研究はまだあるので、興味のある方は元のサーベイ論文やチュートリアル資料を読んでみてください。このブログでもおいおい紹介していきたいと思います！

マルチモーダルについては15年前にシンボリズム vs コネクショニズムの話を聴いたころから興味があったのですが、最近まですっかり忘れていました。

Deep Learningが言語・画像・音声・制御・その他のモダリティを統合することで、今まで想像もできなかったような面白いアプリケーションがたくさん出てくるんじゃないかと期待してます。

ちなみにタイトルは「複雑系を超えて」から。すごく好きな本です。