MMDS大阪大学 数理・データ科学教育研究センター
Center for Mathematical Modeling and Data Science,Osaka University

Training Neural Networks and Mean-field Langevin dynamics

Zhenjie Ren (Université Paris-Dauphine)

大阪大学 数理・データ科学セミナー 金融・保険セミナーシリーズ 第114回

Training Neural Networks and Mean-field Langevin dynamics

Zhenjie Ren (Université Paris-Dauphine)

The neural networks have become an extremely useful tool in various applications such as statistical learning and sampling. The empirical success urges a theoretical investigation based on mathematical models. Recently it has become popular to treat the training of the neural networks as an optimization on the space of probability measures. In this talk we show that the optimizer of such optimization can be approximated using the so-called mean-field Langevin dynamics. This theory sheds light on the efficiency of the (stochastic) gradient descent algorithm for training the neural networks. Based on the theory, we also propose a new algorithm for training the generative adversarial networks (GAN), and test it to produce sampling of simple probability distributions.

講師: Zhenjie Ren (Université Paris-Dauphine)
テーマ: 大阪大学 数理・データ科学セミナー 金融・保険セミナーシリーズ 第114回
日時: 2020年10月29日(木) 17:00-18:30
場所: Zoom によるオンラインセミナー
参加費: 無料
参加方法: 参加費は無料ですが下記のリンクより事前登録をお願いします。

https://sites.google.com/view/omfseminar/home

登録されたメールアドレス宛に参加用 URL をお送りします。
アクセス: 参加方法をご覧ください。
お問い合せ: 本ウェブサイトの「お問い合せ」のページをご参照ください。