Bias - Varianceのトレードオフ

目次

Biasが大きい時

モデルが単純すぎて表現能力が限定されている状況。

e.g. データ点が曲線なのに対してモデルは直線

未学習（under-fitting）といわれ、データに対して「バイアスが大きすぎる」と表現される。

Varianceが大きい時

モデルが複雑すぎて訓練データに対して過敏に適合している状況。

e.g. 次元数１００の回帰

過学習（over-fitting）といわれ、データに対して「バリアンスが大きすぎる」と表現される。

トレードオフ

上の２つの例は両極端な場合で、ほとんどの機械学習の問題がその間のどこかに最適なモデルがある。

バイアスが大きい場合の対処法

• 特徴量を増やす
• モデルをより複雑なものにする
• モデルを変更する

バリアンスが大きい場合の対処法

• より多くのデータを集める
• モデルの複雑さを減らす

＊「実践　機会学習システム」を参考にしています。