タグ別アーカイブ: 機械学習

初等解析学 (微分積分学) 入門 §16

2019/2/9
@tk

§16 関数の積分 II

§13 以降、微分、積分、微分ときて今回は再び積分が中心です。多くの初等関数の積分は、§15 の定理 2, 3 を用いる事で、まさしく「微分の逆演算」として計算する事が出来ますが、積分に関するそれ以外の重要な道具として更に部分積分や置換積分といった公式があります。これらを使って様々な関数の具体的な積分計算が可能となりますが、それだけでなく部分積分公式はまた「(滑らかな) 関数を『多項式の無限和』の形に展開する」という所謂 Taylor 展開への橋渡しの役割も担っています。今回は、微分積分の基本定理や部分積分公式を用いて、滑らかな関数を「多項式 + 誤差項 (剰余項)」の形で表現する Taylor の定理に迫っていきたいと思います。

 

寄り道: §15 命題 6 の証明

いきなり寄り道からのスタートとなりますが、まずは前回やり残した最急降下法アルゴリズムの収束性についてここで証明を与えます。あくまで寄り道なので全てを理解して次に進まなければならないわけではなく、読み飛ばしていただいても構いません。… 続きを読む

初等解析学 (微分積分学) 入門 §15

2019/1/26
@tk

§15 関数の微分 II

§13 で微分を、§14 で積分を導入しました。今回は再び微分に焦点を当てます。微分と積分を行ったり来たりしながら話を進めていく事になりますが、§13 でも触れたように、微分積分学の基本定理を使いながら積分を通して微分の性質を明らかにしていくのが狙いです。

 

微分積分学の基本定理 II

§14 の定理 3 では「関数を積分してから微分すると元に戻る」というバージョンの基本定理を扱いました。定理番号を変更してステートメントを再掲します。

　定理 1. なる区間 上の連続関数 に対して

… 続きを読む

初等解析学 (微分積分学) 入門 番外編 I

2019/1/12
@tk

連鎖律と誤差逆伝播法: 1 次元の場合

こちらの投稿で紹介した連鎖律 (合成関数の微分公式) が、(階層型) ニューラルネットワークにおける自動微分法の一種である誤差逆伝播法 (backpropagation) においてどのように活用されているのか、その雰囲気を味わうために、ここで「一次元のとても単純なニューラルネットワーク (パーセプトロン) による教師あり学習」を取り上げて見ていきます。なお、以下で登場する 等の関数は全て 上で微分可能であると仮定しておきます。

 

概要

入力データ … 続きを読む