stochasticcrap
2015-08-14 04:01:59 UTC
確率的勾配降下法とオンライン最急降下法の違いは何ですか？それとも同じアルゴリズムですか？
確率的勾配降下法とオンライン最急降下法の違いは何ですか？それとも同じアルゴリズムですか？
どうやら、異なる著者は確率的勾配降下法について異なる考えを持っています。ビショップは次のように述べています。
オンライン勾配降下法は、順次勾配降下法または確率的勾配降下法とも呼ばれ、一度に1つのデータポイントに基づいて重みベクトルを更新します…
一方、[2]はそれを最急降下法として説明し、確率的勾配降下法のより一般的な定義を示します。
確率的勾配降下法更新方向が勾配に正確に基づいている必要はありません。代わりに、方向をランダムなベクトルにすることができ、各反復での期待値が勾配方向と等しくなることだけが必要です。または、より一般的には、ランダムベクトルの期待値が現在のベクトルでの関数の劣勾配になる必要があります。
Shalev-Shwartz、S.、& Ben-David、 S.（2014）。機械学習の理解：理論からアルゴリズムまで。ケンブリッジ大学出版局。
例として、線形/ロジスティック回帰のコンテキストに身を置きましょう。トレーニングセットに$ N $のサンプルがあると仮定しましょう。これらのサンプルを1回ループして、モデルの係数を学習します。
オンライン最急降下法は、本質的に確率的勾配降下法と同じです。オンラインの名前は、バッチの問題を解決するのではなく、IIDである必要のない一連の例を予測していることを強調しています。