連鎖律と誤差逆伝播法: 1 次元の場合

こちらの投稿で紹介した連鎖律 (合成関数の微分公式) が、(階層型) ニューラルネットワークにおける自動微分法の一種である誤差逆伝播法 (backpropagation) においてどのように活用されているのか、その雰囲気を味わうために、ここで「一次元のとても単純なニューラルネットワーク (パーセプトロン) による教師あり学習」を取り上げて見ていきます。なお、以下で登場する $f, g, h$ 等の関数は全て $\mathbb {R}$ 上で微分可能であると仮定しておきます。

概要

入力データ $x$… 続きを読む