楠岡 成雄「Rademacher 複雑度と正則化」§7 例

公開: 2024/9/27
最終更新: 2024/9/27

楠岡 成雄「Rademacher 複雑度と正則化」
§7 例

 ここでは は連続関数で、条件 (R-1), (R-2) を満たし、 続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§6 多層ニューラルネットワークに対する評価

公開: 2024/9/20
最終更新: 2024/9/20

楠岡 成雄「Rademacher 複雑度と正則化」
§6 多層ニューラルネットワークに対する評価

 以下では は可測空間、 上の確率測度、-値確率変数列、… 続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§5 正則化のための準備

公開: 2024/9/13
最終更新: 2024/9/13

楠岡 成雄「Rademacher 複雑度と正則化」
§5 正則化のための準備

は可測空間、 上の確率測度とする。 は距離空間で 続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§4 一様大数の法則

公開: 2024/9/6
最終更新: 2024/9/6

楠岡 成雄「Rademacher 複雑度と正則化」
§4 一様大数の法則

を可測空間、 上の可測関数全体とする。

 命題 4.1. の空でない部分集合とし、

続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§3 Rademacher 複雑度 (2)

公開: 2024/8/30
最終更新: 2024/8/30

楠岡 成雄「Rademacher 複雑度と正則化」
§3 Rademacher 複雑度 (2)

 定義 3.5.

  1. の空でない部分集合とする。
続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§3 Rademacher 複雑度 (1)

公開: 2024/8/23
最終更新: 2024/8/23

楠岡 成雄「Rademacher 複雑度と正則化」
§3 Rademacher 複雑度 (1)

  を可測空間、 上の可測関数全体とする。

 定義 3.1.

続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§2 準備

公開: 2024/8/16
最終更新: 2024/8/16

楠岡 成雄「Rademacher 複雑度と正則化」
§2 準備

 命題 2.1. とする。この時

続きを読む

楠岡 成雄「Rademacher 複雑度と正則化」§1 初めに

公開: 2024/8/9
最終更新: 2024/8/9

楠岡 成雄「Rademacher 複雑度と正則化」
§1 初めに

は可測空間、 は距離空間とする。 をパラメータの集合と考える。 は可測関数であり、続きを読む

楠岡 成雄先生『Rademacher 複雑度と正則化』公開

2024/1/26 (金) に、東京都立大学 丸の内サテライトキャンパスにてワークショップ「確率論と機械学習」が開催され、数理ファイナンス研究所 (AMFiL) 顧問の楠岡 成雄先生が講演されました。

楠岡先生がまとめられた、本研究に関する原稿「Rademacher 複雑度と正則化」をここに公開させていただきます。

ご興味をお持ちの方は下記 URL から pdf ファイルをご利用下さい。

 

Rademacher 複雑度と正則化

 

ワークショップ「確率論と機械学習」

 … 続きを読む

初等解析学 (微分積分学) 入門 §25

2019/6/29
@tk

§25 L’Hôpital の定理

今回は、高校数学において「検算のために使うのは良いが答案に書くのは駄目」な定理として有名な l’Hôpital の定理を取り上げたいと思います。L’Hôpital の定理の証明には、Cauchy の平均値の定理という、Rolle の定理や通常の (Lagrange の) 平均値の定理から導かれる定理が使われる事が多いのですが、ここでは微分積分学の基本定理を使った証明を与えます (そのため、本来の l’Hôpital の定理よりも若干強い仮定を置いています)。Cauchy の平均値の定理を使った議論は最後に補遺として簡単に紹介します。

 

L’Hôpital の定理 I

を開区間として、続きを読む

初等解析学 (微分積分学) 入門 §24

2019/6/15
@tk

§24 関数の積分 III

今回は、これまで §14§16 で触れられなかった Riemann 積分に関する残りのトピックを扱います。まず、§16 で示した部分積分と対になる置換積分を紹介します。また、Riemann 積分のある意味での一般化を行い、「非有界区間上の積分」や「非有界関数の積分」についても考えてみます。

 

置換積分

本論に入る前に、§23 で紹介した次の微分方程式 をもう一度考えます。今回は Leibniz … 続きを読む

初等解析学 (微分積分学) 入門 §23

2019/6/1
@tk

§23 関数に対する方程式

我々はこれまで指数関数を「指数法則を満たす連続関数」として定義し、そのような性質を持つ実数値関数が存在する事を二通りの方法で確認してきました。これは言わば「連続関数の中で指数法則を満たすようなものを求めよ」という、関数についての問題を解いているようなものです。

通常の方程式と同様に、未知の関数が満たしている何らかの関係式 (例えば指数法則 ) の事を関数方程式と呼び、その未知の関数が何であるかを求める事を「関数方程式を解く」と言います。関数方程式の中でも特に重要なものとして微分方程式と呼ばれるものがあり、これは未知関数の導関数 (及びその関数自体) が満たす等式を意味しています。指数関数の第三の構成法 (あるいは特徴付け) として、今回は微分方程式を用いた方法を紹介します。同様に、三角関数についても微分方程式の解としての特徴付けを考えてみます。

微分方程式を考える上では、その解の「存在と一意性」という概念が重要となります。その前にまず、通常の (未知の実数が満たす) 方程式を通して、解の存在と一意性とは何かを見ていきたいと思います。

 

方程式の解の存在と一意性

未知の実数 が満たす等式を方程式と呼び、それを満たす … 続きを読む

初等解析学 (微分積分学) 入門 §22

2019/5/18
@tk

§22 円周率 に纏わるいくつかの公式

前回 §21 までの内容で、実数値関数の計算を行う上での数学的な道具が大分揃ってきました。今回はそれらを使った応用として、§21 で紹介した Leibniz の公式のような、円周率と関わりのあるいくつかの有名な公式を紹介します。

 

Wallis 積分

に対して、Wallis 積分と呼ばれる次の定積分 続きを読む

初等解析学 (微分積分学) 入門 §21

2019/5/4
@tk

§21 Taylor 展開と冪級数 III

引き続き冪級数に関するテーマを扱いますが、今回は具体的な初等関数の話題に焦点を当てて進めます。

前々回 §18 において、三角関数 を冪級数によって定義しました。同様にして、今回はまず指数関数の第二の構成方法として「冪級数によって指数関数を定義する」という話から始めていきたいと思います。また、三角関数についてはまだ定義をしただけでほとんど何も性質を調べていなかったので、今回は冪級数の立場から「三角関数について良く知られている性質 (加法定理、周期性、導関数等)」を示していきます。

 

指数関数の構成 II

§9 によると、(標準的な) 指数関数とは以下の 3 つの性質を満たす関数 続きを読む

初等解析学 (微分積分学) 入門 §20

2019/4/20
@tk

§20 Taylor 展開と冪級数 II

今回はまず、§18 で導入した冪級数について、前回 §19 で示した結果を使って、その滑らかさについて調べていきます。そうする事で、§18 でも触れたように、冪級数展開と Taylor 展開は実は同じ事を表しているという事が分かります。また、やはり §18 で示した「極限と微分積分の順序交換」を冪級数に対して適用すれば、冪級数に対して「項別に微分積分する」という直観的に自然な (しかし乱暴かもしれない) 計算が、収束半径の内側では正しい事が示されます。それらの性質を使って、これまで登場したいくつかの初等関数の Taylor 展開 (即ち一意的な冪級数表示) を導いていきたいと思います。

 

冪級数の収束性

§18 で示した通り、(広義) … 続きを読む

初等解析学 (微分積分学) 入門 §19

公開: 2019/4/6
最終更新: 2019/4/15
@tk

§19 関数列の収束

§16 で示した Taylor の定理と §17 で扱った級数の概念を用いて、前回 §18 は滑らかな関数の Taylor 展開を紹介しました。無限回微分可能な関数が常に Taylor 展開可能であるわけではありませんが、Taylor 展開によって関数を冪級数の形で表す事が出来ます。一方で、冪級数の形で定義される関数は常に Taylor 展開可能であり、その関数の Taylor 展開は元の冪級数と一致する (よって Taylor 展開と冪級数展開は本質的に同じものである) … 続きを読む

初等解析学 (微分積分学) 入門 §18

2019/3/23
@tk

§18 Taylor 展開と冪級数 I

前回 §17 から少し間が空いてしまいましたが、今回はいよいよこれまで扱ってきた Taylor の定理や級数を組み合わせて、滑らかな関数を「無限に続く多項式」のような形で表現する Taylor 展開及び冪級数について見ていきたいと思います。今回だけではまだこれらの威力を十分に感じられるところまで話を進める事が出来ませんが、Taylor 展開を用いると、複雑な (但し滑らかな) 関数の形状や挙動を詳しく見られるようになります。またこれまでの範囲では扱う事の出来なかった三角関数も、冪級数を使ってようやく定義出来るようになります。

 

無限回微分可能な関数

これまでにも何度か言葉は登場しているのですが、ここで「無限回微分可能な関数」について正確に定義しておきます。

を開区間とします。 に対して、 上の … 続きを読む

初等解析学 (微分積分学) 入門 §17

2019/2/23
@tk

§17 級数

今回は久々に数列に関するお話で、「無限に並んでいる数列を (順番に) 足し続けたらどうなるか」について考えます。「無限に足し続ける」と言っても、数学的には「 個足す」という操作において の極限を考える事に他ならないので、今までと全く異なる新しい概念が登場するわけではありません。しかし、前回 §16ここで触れられているように、級数 (数列を無限に足し合わせたもの) ならではの興味深い話題も見られます。

 

級数の定義

数列 が与えられた時、それらを全て足し合わせたもの … 続きを読む

初等解析学 (微分積分学) 入門 §16

2019/2/9
@tk

§16 関数の積分 II

§13 以降、微分、積分、微分ときて今回は再び積分が中心です。多くの初等関数の積分は、§15 の定理 2, 3 を用いる事で、まさしく「微分の逆演算」として計算する事が出来ますが、積分に関するそれ以外の重要な道具として更に部分積分や置換積分といった公式があります。これらを使って様々な関数の具体的な積分計算が可能となりますが、それだけでなく部分積分公式はまた「(滑らかな) 関数を『多項式の無限和』の形に展開する」という所謂 Taylor 展開への橋渡しの役割も担っています。今回は、微分積分の基本定理や部分積分公式を用いて、滑らかな関数を「多項式 + 誤差項 (剰余項)」の形で表現する Taylor の定理に迫っていきたいと思います。

 

寄り道: §15 命題 6 の証明

いきなり寄り道からのスタートとなりますが、まずは前回やり残した最急降下法アルゴリズムの収束性についてここで証明を与えます。あくまで寄り道なので全てを理解して次に進まなければならないわけではなく、読み飛ばしていただいても構いません。… 続きを読む

初等解析学 (微分積分学) 入門 §15

2019/1/26
@tk

§15 関数の微分 II

§13 で微分を、§14 で積分を導入しました。今回は再び微分に焦点を当てます。微分と積分を行ったり来たりしながら話を進めていく事になりますが、§13 でも触れたように、微分積分学の基本定理を使いながら積分を通して微分の性質を明らかにしていくのが狙いです。

 

微分積分学の基本定理 II

§14 の定理 3 では「関数を積分してから微分すると元に戻る」というバージョンの基本定理を扱いました。定理番号を変更してステートメントを再掲します。

 定理 1. なる区間 上の連続関数 に対して

続きを読む