Optuna

図書を読んでいると「ベイズ最適化によるパラメータ探索」に遭遇。

コンペでもパラメータ調整に使われているようです。ま、grid search による総当たりよりは効率的であって欲しいと期待し使いたくなりますよね。

で、試行。
モデルはSVC, LightGBM の2種。フレームワークは Optuna。
https://preferred.jp/ja/projects/optuna/

非力なマシンで動かしていたからか、SVC は完走せず。時間のかかるモデルでも少ない計算回数で収束することに期待していたのですが。残念。

LightGBM は問題なく完走。結果はそれなり。うーん。
grid search で扱っていた探索範囲よりも広げて始めたのですが、それよりも結果が良くなりません。局所解にはまるのでしょうか。探索回数を200回から300回に上げても変化なし。うーん。

最終的にはgrid search と同程度の範囲にしないとスコアは上がりませんでした。不均衡データを重みだけで区分しようとしていましたので、評価指標の変動を掴みづらかったのかもしれません。やはり、前処理・特徴量選択が不十分なデータでは、良いツールでも効果を発揮し難いのでしょう。基本が大事ということを、あらためて認識させられました。

今回は grid search より格段に良いという結果には至りませんでした。
次回、別のデータで試してみましょう。

********************************
20200119追記
SVC の打ち切り回数を入れて時間制限をかけました。
が、Oputuna での再現性を担保するため、パラレルを中止。うーん。
How can I obtain reproducible optimization results?
https://optuna.readthedocs.io/en/stable/faq.html#how-can-i-obtain-reproducible-optimization-results