人工知能に関する断創録

このブログでは人工知能のさまざまな分野について調査したことをまとめています

モダリティを超えて

2018年の目標(2018/1/1)にも書いたように今年はマルチモーダル深層学習の深耕を目標に上げていました。社内の輪講会でマルチモーダル深層学習の研究動向について発表する機会があったので資料を公開します。

をベースに自分なりに調査した研究を追加してまとめています。

上の論文では、モダリティとして言語・音声・画像のみを取り上げているのですが、私はここに行動(制御)も付け加えています。

また、発表時間の関係から一部の研究を省略しています。他にも面白い研究はまだあるので、興味のある方は元のサーベイ論文やチュートリアル資料を読んでみてください。このブログでもおいおい紹介していきたいと思います!

マルチモーダルについては15年前にシンボリズム vs コネクショニズムの話を聴いたころから興味があったのですが、最近まですっかり忘れていました。

Deep Learningが言語・画像・音声・制御・その他のモダリティを統合することで、今まで想像もできなかったような面白いアプリケーションがたくさん出てくるんじゃないかと期待してます。


ちなみにタイトルは「複雑系を超えて」から。すごく好きな本です。

「複雑系」を超えて―システムを永久進化させる9つの法則

「複雑系」を超えて―システムを永久進化させる9つの法則