大阪大学　数理・データ科学教育研究センター
Center for Mathematical Modeling and Data Science,Osaka University

深層ネットワークのエネルギー地形：統計力学から見えるもの

大阪大学数理・データ科学教育研究センター

1. ホーム
2. セミナー・集中講義
3. ワークショップ
4. 深層ネットワークのエネルギー地形：統計力学から見えるもの

吉野元先生特別講演

深層ネットワークのエネルギー地形：統計力学から見えるもの

大阪大学数理・データ科学教育研究センター

講演者：吉野 元（大阪大学サイバーメディアセンター）

日時：2019年7月24日（水）15:00-16:00

場所：大阪大学大学院理学研究科・南部陽一郎ホール（豊中キャンパス）

タイトル：深層ネットワークのエネルギー地形：統計力学から見えるもの

概要：情報理論と物理の統計力学との深い関わりはシャノンによる先駆的な研究以来、続いている。人工ニューラルネットワークによる機械学習が、スピングラスなどランダム系の統計力学と密接に結びついている事は、ホップフィールド模型やパーセプトロンなどの例にあるように1980年代から良く知られ、統計力学の分野でも活発に研究されてきた。[1]
ところがいわゆる「深層」ニューラルネットワークにおける学習の統計力学的理論は未だに存在しない。実践的な応用が急ピッチで進む一方、理論が大きく立ち遅れているのが現状である。[2]
「なぜデータの数を遥かに上回る膨大な数のパラーメータで学習を行って、単なる丸暗記ではない、意味のある学習になりうる(汎化能力を持つ)のか?」などの根本的な疑問が解消されていない。 そこで統計力学的な知見を得るために、多成分スピン系での理論[3]をヒントに、深層パーセプトロンネットワークの可解模型を構成した。セミナーではこの模型のガードナー体積(記憶容量)をレプリカ法と呼ばれる統計力学の手法で解析した結果[4]を紹介する。解析の結果、入力層および出力層近傍で自由エネルギー地形が階層的で複雑（スピングラス的)になるものの、ネットワークの中央部に近づくほどこれが段階的に単純なものに変化し、中央部では液体的になっていることがわかった。深層ニューラルネットワークによる学習ダイナミックスの収束性の良さ、汎化能力の高さはこの深さ方向に変化する自由エネルギー地形と関係している可能性がある。この構造は、制約の増大（データ数の増大)とともに両端から内部に伝搬してゆく逐次的ガラス転移によって形成される。あわせて学習過程のシミュレーションの結果も議論する。

[1] 「スピングラス理論と情報統計力学」西森 秀稔　(岩波書店)
[2] Giuseppe Carleo, et. al, arXiv:1903.10563v1
[3] Hajime Yoshino, SciPost Phys. 4 (6), 040 (2018).
[4] Hajime Yoshino, in preparation