回帰のための開発されたアルゴリズム、確率的勾配降下法をブースティングに応用したもの。
アーリーストッピング
学習時にスコアをモニタし、一定以上スコアが上がらなくなった場合、学習を打ち切り、過学習することを防ぎます。LightGBMで機能として提供されています。
応用
| 名前 | 概要 | タスク | フレームワークのリンク |
|---|---|---|---|
| XGBoost | 分散勾配ブースティングのフレームワーク。目的は、スケーラブルでポータブルな分散勾配ブースティング(GBM, GBRT, GBDT) を提供すること。gbtreeでGBDT、gblinearで線形モデルとなる。 | 回帰 | リンク |
| LightGBM | XGBoostの影響を受け、決定木アルゴリズムに基づくGBDTのライブラリ。分散して効率的に利用できるように設計されている。メモリ使用量の削減や精度の向上などの利点がある。XGBoostに比べ速度は数十倍、精度が同等と考えられている。 | 回帰 | リンク |
| CatBoost | MatrixNetアルゴリズムを継承した、カテゴリ特徴量をサポートしたオープンソースの決定木上の勾配ブーストライブラリ。 | 回帰 | リンク |
