大阪大学　数理・データ科学教育研究センター
Center for Mathematical Modeling and Data Science,The University of Osaka

深層ニューラルネットワークモデルの接続の構造と関数表現能力

長瀬 准平 氏（ 電気通信大学　データ教育センター 兼 産学官連携センター　特任助教）

1. ホーム
2. セミナー・集中講義
3. AI・データ利活用研究会
4. 深層ニューラルネットワークモデルの接続の構造と関数表現能力

AI・データ利活用研究会 第101回

深層ニューラルネットワークモデルの接続の構造と関数表現能力

長瀬 准平 氏（ 電気通信大学　データ教育センター 兼 産学官連携センター　特任助教）

本発表では、深層ニューラルネットワークモデルの接続の構造についての議論を行う。特に、活性化関数をReLU関数に仮定した場合、線型性をもっているような線型の接続構造はいずれも多層パーセプトロンのような直列な接続に帰着可能であることを示す。さらに、ReLU関数を活性化関数とする多層パーセプトロンは、表現力と出力を保ちながら実数パラメータを二値化可能であることを示す。これらの結果は構成的であるため、具体的なパラメータを書き下すことが可能であり、実際のモデルの圧縮可能性を議論するとともに、具体的な変換アルゴリズムとして紹介する。また、これらの結果は活性化関数がReLU関数ではない一般の区分線型関数の場合にも拡張することができる。ただし、これらはいずれも学習中のモデルの性能やダイナミクスについては考慮しておらず、あくまで学習前および学習済みのモデルについての結論であることに注意する。