| 概要 |
（パラメトリック）モデルと観測変数に基づき予測変数の分布を構築する問題を考えるとき、ベイズ予測における事前分布として
latent information prior [1] が知ら れている。Latent
information
priorは、観測変数を介した目的変数とモデルパラメータの条件付き相互情報量を最大化する分布として定義され、モデルのみに依存して定まる客観的な事前分布である。また、特定の条件下でミニマックス性を満たすことも知られている。一方で、この事前分布を具体的に構成する一般的手法はほとんど知られていない。
Latent information
priorの定義は確率分布上の汎関数最適化問題として解釈できるため、その構成には分布そのものを直接最適化する枠組みが必要となる。近年、機械学習分野において確率分布そのものを最適化対象とする枠組みが注目されており、特にWasserstein勾配流が広く用いられている。Wasserstein勾配流は、確率分布空間における勾配流として定式化され、最適化における安定性や粒子法などを用いた数値実装が相対的に容易であるなどの特徴がある。
本発表では、Wasserstein 勾配流に birth–death
dynamicsを組み合わせた手法 [2] に基づき、Latent information
prior
を数値的に求める方法を検討する。さらに、いくつかの統計モデルに対して数値実験を行いその結果を報告する。
[1] Komaki, F. (2011). Bayesian predictive densities based on
latent information priors. *Journal of statistical planning
and inference*, *141*(12), 3705-3715.
[2] Rotskoff, G., Jelassi, S., Bruna, J., & Vanden-Eijnden, E.
(2019, May). Neuron birth-death dynamics accelerates gradient
descent and converges asymptotically. In *International
conference on machine learning* (pp. 5508-5517). PMLR.
|