ファイナンス機械学習 バックテスト2 バックテストの危険性

プロも犯す誤りをリストする

クオンツ投資の7つの罪があり（生存バイアスなど7つが紹介）、それ以外も共通して、バックテストが完璧であったとしても、おそらく誤りである。なぜなら、いずれもエキスパートのみが完璧なバックテストを実行できる点で、偽の発見の可能性を考慮する必要があるからだ。また、バックテストに熟知するほど偽の発見が起こりやすくなることを著者は指摘している。

バックテストはリサーチツールではない

特徴量の重要度がリサーチツールである。バックテストの目的は、悪いモデルを切り捨てることである。モデルの構成要素を整え、テストを実施し評価し、知見を蓄え、学びを深める。バックテストの結果を元にモデルを調整すべきではない。

一般的なアドバイス

過学習をいかに防ぐか、その手順が紹介されている。

戦略選択

scikit-learnでは、ウォークフォワードタイムフォールド法が実装されているが、ウォークフォワード法は過学習しやすい欠点がある。

標準的な交差検証法の様なランダム化が必要であり、バックテストオーバーフィッティング確率（PBO）の推定に基づいた交差検証法を選択する。