複数のモデルを組み合わせて予測することで精度向上を狙います。
代表的なアルゴリズムとして、ランダムフォレストと勾配ブースティングがあります。
バギング
過学習に効果的。ブートストラップ法（学習データからランダムなn個を抽出しサブセットを繰り返し生成する）で弱学習器を構築し、それらから学習器を構築する。単純なバギングでは「学習データ数が増えるとほとんど同じように学習されてしまう問題」がある。これを解決する、学習モデルに工夫を施す応用でランダムフォレストが有名。
ブースティング
学習不足に効果的。学習器を増やしながら、モデル追加時に最終的なモデルで不正解とみなされたものを重視する学習データを生成し、繰り返し逐次的に学習・構築する。（AdaBoostというアルゴリズムが有名）
