統計学輪講 第18回

評価コストの高い決定論的ブラックボックス関数の最適化では，限られた関数評価回数をどのように配分するかが重要となる．本発表では，Jones et al. (1998) による効率的大域最適化(Efficient Global Optimization: EGO)を紹介し，代理モデルによる予測と不確実性の評価が，逐次的な評価点の選択にどのように用いられるかを説明する．具体的には，観測済みのデータから未評価点での関数値とその不確実性を予測するガウス過程モデルと，次の評価による改善の見込みを表す期待改善量(Expected Improvement: EI)を取り上げ，EGOの基本的な仕組みを解説する．特に，EIに基づく停止条件を満たすことと，真の最適値に対して所定の精度を達成することの違いに着目する．

また，Branin関数を用いた独自実装により手法の動作を示すとともに，ラテン超方格サンプリング(LHS)と直交配列表に基づくLHS(OA-LHS)の比較を通じて，初期設計が探索に与える影響を検討する．

さらに，初期設計戦略が逐次モデルベース最適化の性能に与える影響を，多様なテスト関数を用いて調べたBossek et al. (2020) の研究を補足的に紹介する．これを踏まえ，初期点の配置や点数，問題の特性が最適化性能に与える影響について，今後の検証課題を議論する．

本発表では，主に以下の論文[1]を紹介する．また，初期設計に関する関連研究として論文[2]を取り上げる．
[1] Donald R. Jones, Matthias Schonlau, and William J. Welch. Efficient global optimization of expensive black-box functions. Journal of Global Optimization, 13(4):455–492, 1998.
[2] Jakob Bossek, Carola Doerr, and Pascal Kerschke. Initial design strategies and their effects on sequential model-based optimization: An exploratory case study based on BBOB. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference, pages 778–786, 2020.