ディープラーニングの技術・最適化No.107 / 293
二重降下現象
モデルを大きくしていくと、テストの誤差がいったん下がり、上がり、また下がる現象。
確認問題
次の説明に当てはまる用語はどれか。
AdaGrad の、学習率が小さくなりすぎる弱点を、最近の勾配を重く見ることで改良した方法。AdaDelta も同じ目的の改良。
ディープラーニングの技術・最適化No.107 / 293
モデルを大きくしていくと、テストの誤差がいったん下がり、上がり、また下がる現象。
次の説明に当てはまる用語はどれか。
AdaGrad の、学習率が小さくなりすぎる弱点を、最近の勾配を重く見ることで改良した方法。AdaDelta も同じ目的の改良。