大阪大学　数理・データ科学教育研究センター
Center for Mathematical Modeling and Data Science,Osaka University

計算統計の観点からのベイズ統計と頻度論の融合 ― Bayesian IJKとWカーネル

伊庭 幸人 氏（統計数理研究所　教授）

1. ホーム
2. セミナー・集中講義
3. AI・データ利活用研究会
4. 計算統計の観点からのベイズ統計と頻度論の融合 ― Bayesian IJKとWカーネル

AI・データ利活用研究会 第63回

計算統計の観点からのベイズ統計と頻度論の融合 ― Bayesian IJKとWカーネル

伊庭 幸人 氏（統計数理研究所　教授）

　実務でベイズ的な手法を利用する場合，観測値の変化に対する感度解析は重要な課題である．そこからさらに進んで，観測値の背後に頻度論的な母集団を想定して，解析結果の安定性やモデルの妥当性を論じることもよく行われる．ところが，MCMCによるベイズ計算を前提とした場合，これらの要求に答えようとすると計算量が大きくなるという問題がある．感度解析ではさまざまな観測値の変化に対して事後分布を計算するが，毎回MCMCを走らせると計算量が大変多くなる．頻度論的解析の場合も，交差検証法（CV）やブートストラップ法などsample-reuse系の手法を適用しようとすると同様な問題が生じる．
　本講演では，この問題に対して近年発展してきた事後共分散・事後キュムラントを利用する手法を解説する．いわば，頻度論的評価に必要な情報が事後共分散・事後キュムラントの形でベイズ事後分布それ自体の中に埋め込まれているのである．これを利用すると，もともとのデータからMCMCで生成したサンプルを利用して，再度MCMCを行うことなく，感度解析や頻度論的推論が可能になる．
　講演では，まず，実務で有用な「１回のMCMCで済む感度解析の方法」（Perez et al(2006), Millar and Stewart (2007)）を紹介する．また，この手法と情報量規準WAIC（Watanabe(2010,2018))，PCIC（Iba and Yano(2022,2023)) との関係について解説する．次に，同様の考え方のブートストラップ法への応用を議論し，ベイズ期待値の頻度論的共分散について最近提案された公式（Giordano and Broderick (2023))を発見法的に導出する．この公式はモデル誤特定の場合（たとえばモデルがポアソン分布でデータに過分散がある場合）でも有効な点に特徴がある．最後に，時間があれば，講演者の最近の研究（Iba(2023)）の紹介として，各観測の対数尤度の事後共分散からなる行列（W行列と呼ぶ）とその固有値問題が上の設定で重要な意味を持つことを論じる．W行列は正定値の再生核（Wカーネル）とみなすことが可能で，従来から知られているフィッシャーカーネルやNeural Tangent KernelはWカーネルの近似と解釈できる．WAICではW行列の対角成分のみが用いられているが，非対角成分も重要な情報を担っていることがポイントである．

Giordano, R. and Broderick, T. (2023). The Bayesian infinitesimal jackknife for variance. arXiv:2305.06466.
Iba, Y. (2023). W-kernel and essential subspace for frequencist's evaluation of Bayesian estimators. arXiv:2311.13017.
Iba, Y. and Yano, K. (2022). Posterior covariance information criterion for arbitrary loss functions. arXiv:2206.05887.
Iba, Y. and Yano, K. (2023). Posterior covariance information criterion for weighted inference. Neural Computation, 35:1-22.
Millar, R. and Stewart, W. (2007). Assessment of locally influential observations in Bayesian models. Bayesian Analysis, 2:365-384.
Perez, C., Martin, J., and Rufo, M. (2006). MCMC-based local parametric sensitivity estimations. Computational, Statistics & Data Analysis, 51:823-835.
Watanabe, S. (2010). Asymptotic equivalence of Bayes cross validation and widely applicable information criterion in singular learning theory. Journal of Machine Learning Research, 11:3571-3594.
Watanabe, S. (2018). Mathematical Theory of Bayesian Statistics. Chapman & Hall/CRC.