§15 関数の微分 II

§13 で微分を、§14 で積分を導入しました。今回は再び微分に焦点を当てます。微分と積分を行ったり来たりしながら話を進めていく事になりますが、§13 でも触れたように、微分積分学の基本定理を使いながら積分を通して微分の性質を明らかにしていくのが狙いです。

 

微分積分学の基本定理 II

§14 の定理 3 では「関数を積分してから微分すると元に戻る」というバージョンの基本定理を扱いました。定理番号を変更してステートメントを再掲します。

上に対して、今回は「微分してから積分する」という操作に対応する定理を導きます。

定理 2 の証明のために一つ命題を準備します。この命題の証明は後で行います。

---

定理 2 の証明. 定理 1 より $$g(x) = \int ^x_af'(y)dy, \ \ x\in I$$ と置けば $g' = f'$ が成り立つ。よって $(g - f)' = 0$ on $I$ であるので $^\exists c\in \mathbb {R}$ s.t. $g(x) - f(x) = c$,  $x\in I$ が成立。特に $a, b\in I$ に注意して $$\begin{align*} 0 &= g(a) = f(a) + c\\ \int ^b_af(x)dx &= g(b) = f(b) + c \end{align*}$$ であり、これらの差を取って (1) を得る。

---

 

定理 2 の系として得られる以下の定理は微分積分学の基本公式と呼ばれ、初等関数の具体的な積分計算において有用です。

---

証明. $F$ に対して定理 2 を適用すれば $$\int ^b_af(x)dx = \int ^b_aF'(x)dx = F(b) - F(a)$$ が成立する ($a = b$ の場合は自明、$a > b$ の場合は $-f$, $-F$ を考えれば良い)。

---

 

これらの定理を使えば、§14 で述べたような $$\int ^1_0xdx = \int ^1_0\left(\frac{x^2}{2}\right)'dx = \frac{1^2}{2} - \frac{0^2}{2} = \frac{1}{2}$$ 等の計算を正当化する事が出来ますが、今回は微分の性質に焦点を当てたいので、具体的な積分計算の話題は次回以降に扱う事にします。

 

関数の微分と増減

関数の増減や最大値・最小値等を具体的に調べる方法として、高校数学では「導関数の符号を元に増減表を書く」という事をします。例えば $f(x) = x^2 - 3x$ ($x\in \mathbb {R}$) の最小値とそれを与える $x$ を調べようとする際、一つのやり方は $$f(x) = \left(x - \frac{3}{2} \right) ^2 - \frac{9}{4} \geq -\frac{9}{4}, \ \ f\left( \frac{3}{2}\right) = -\frac{9}{4}$$ と平方完成を使って $y = f(x)$ のグラフの頂点にあたる座標を計算する、というものですが、これは二次関数特有の計算方法であって汎用的ではありません。$f$ がもっと複雑な形状をしている時であっても、 $$f'(x) = 2x - 3 = 0 \ \ \Longleftrightarrow \ \ x = \frac{3}{2}$$ と「微分係数が $0$ になる時の $x$」を計算してから導関数の符号 $$f'(x) \left\{ \begin{array}{cc} <0 & \ \ (x < 3/2)\\ =0 & \ \ (x = 3/2)\tag {2}\\ >0 & \ \ (x > 3/2) \end{array} \right.$$ を調べる事で関数の増減の様子を捉える、というのが関数の微分の一つの大きな応用と言えます。今の場合、$f(x)$ は $x < 3/2$ で狭義単調減少、$x > 3/2$ で狭義単調増大となる事から、$f(x)$ が最小値を取るのは $x = 3/2$ の時である事が分かります。

ここでは増減表の上手な書き方を扱う事はしませんが、このような計算が何故可能なのか、その数学的な根拠を微分積分学の基本定理を使って明らかにしたいと思います。

---

証明. $f'\geq 0$ on $I$ を仮定すると、$a \leq b$ なる任意の $a, b\in I$ に対して、定理 2 及び §14 の命題 4 から $$f(b) - f(a) = \int ^b_af'(x)dx \geq 0$$ 即ち $f(a)\leq f(b)$ が成り立つ。

逆に $f$ が $I$ 上で単調非減少とする時、任意の $x, y\in I$ に対して $x < y$ 及び $y < x$ のいずれの場合でも $(f(y) - f(x)) / (y - x) \geq 0$ が得られるので、$y\rightarrow x$ とすれば $f'(x)\geq 0$ を得る。

---

命題 2 及びその系によって、導関数の符号と関数の単調性の対応が分かりますが、更に狭義単調性に関して次が成り立ちます。

---

証明. $a, b\in I$, $a < b$ とする。$f'$ は $[a, b]$ 上で連続なので、§12 の定理 1 より $[a, b]$ において最小値を持つ。即ち $^\exists c\in [a, b]\subset I$ s.t. $\min _{[a, b]}f' = f'(c)$. 仮定より $f'(c) > 0$ となる事に注意して、§14 の命題 4 の系より $$\int ^b_af'(x)dx \geq f'(c)\int ^b_adx = f'(c)(b-a) > 0$$ が成り立つ³。後は定理 2 を使えば $f(b) > f(a)$ が得られる。

---

なお命題 2 と異なり「$I$ 上で狭義単調増大 (または狭義単調減少) ならば $f' > 0$ (または $f' < 0$) on $I$」は成り立ちません。例えば $f(x) = x^3$ の場合を考えてみましょう。

さて、上の具体例 $f(x) = x^2 - 3x$ では、(2) と命題 3 及びその系を用いて $\min _{\mathbb {R}}f = f(3/2) = -9/4$ が示される事となります。そしてこの $x = 3/2$ において、$f$ の微分係数は $f'(3/2) = 0$ となるのでした。

次に $g(x) = x^3 - 3x$ ($x\in \mathbb {R}$) という例を考えてみます。この場合、 $$g'(x) = 3x^2 - 3 = 0 \ \ \Longleftrightarrow \ \ x = \pm 1$$ であり、 $$g'(x) \left\{ \begin{array}{cl} >0 & \ \ (x < -1)\\ =0 & \ \ (x = -1)\\ <0 & \ \ (-1 < x < 1)\\ =0 & \ \ (x = 1)\\ >0 & \ \ (x > 1) \end{array} \right.$$ となります。よってこの場合、$x = 1$ の近くにおける $g'$ の符号は $f(x) = x^2 - 3x$ の $x = 3/2$ 近辺のものと類似した状況になっています。しかしながら、$\lim _{x\rightarrow \pm \infty}g(x) = \pm \infty$ (複合同順) のため $g$ は $\mathbb {R}$ において最大値も最小値も持ちません。「$g(x)$ は $x=1$ において、その近くでは値が一番小さくなる」という状況を表すために以下の概念を導入します。

上の例の場合、$g$ を例えば $(0, 2)$ の上に制限すれば $x = 1$ において $g|_{(0, 2)}(x)$ は最小となっているので、$g(1) = -2$ は $g$ の極小値です。同様に $g(-1) = 2$ は $g$ の極大値となります。

ところで、$g(x) = x^3 - 3x$ の定義域を $[-2, 2]$ に制限した場合を考えてみると、$\max g|_{[-2, 2]} = g(-1) = g(2) = 2$, 即ち $g|_{[-2, 2]}(x)$ は $x = -1, 2$ の $2$ 点で最大となっている事が分かります。しかしながら、$x = -1$ では $g$ は極大となっているのに対して、$x = 2$ においては最大であるものの極大とはなっていません。$x = 2$ を含む $[-2, 2]$ に含まれる「開区間」が (空集合を除いて) 存在しないからです。このように、最大値 (あるいは最小値) であっても必ずしも極大値 (あるいは極小値) とはならない事に注意しなければなりませんが⁵、それでも関数の振る舞いを調べる際に極大値・極小値を求める事は有益です。特に、次の定理によれば、(連続微分可能な) 関数 $f$ が極大値・極小値を取る点 $x$ の候補を「方程式 $f'(x) = 0$ の解」に絞り込む事が出来ます。

---

証明. $f$ が $x_0$ において極大である場合を考える。極大値の定義より $^\exists a, b\in I$  s.t.  $a < b$, $(a, b)\subset I$, $$\begin{align*} a < x < x_0 \ \ &\Longrightarrow \ \ f(x) \leq f(x_0)\\ x_0 < x < b \ \ &\Longrightarrow \ \ f(x) \geq f(x_0) \end{align*}$$ が成り立つ。つまり $f$ は $(a, x_0)$ 上で単調非減少であり、$(x_0, b)$ 上で単調非増大。よって命題 2 とその系より $f'\geq 0$ on $(a, x_0)$ かつ $f'\leq 0$ on $(x_0, b)$ となる。$f'$ は $x_0$ において連続なので、これらから $f'(x_0) \geq 0$ かつ $f'(x_0)\leq 0$ 即ち $f'(x_0) = 0$ である事が分かる。極小の場合も同様。

---

 

なお、命題 4 の逆、即ち「$f'(x_0) = 0$ ならば $f$ は $x_0$ において極大または極小」は成立しません。反例として、$x\mapsto x^3$ は原点において微分係数が $0$ となりますが極大にも極小にもなっていません。

さて、今 $I = [a, b]$ 上で定義された $C^1$-級関数 $f$ の増減について調べる事を考えてみます。方程式 $f'(x) = 0$ の $x\in I$ なる解が $x_1 < \cdots < x_n$ と全て求まったとします (つまり $f'(x_1) = \cdots = f'(x_n) = 0$)。簡単のため $x_1 \neq a$, $x_n \neq b$ としておきましょう。

すると、区間 $(a, x_1)$ において $f'$ は「常に正」か「常に負」のどちらかとなります。何故ならば、もし $y_1, y_2\in (a, x_1)$, $y_1\neq y_2$ であって $f'(y_1)$ と $f'(y_2)$ の符号が異なるような事があれば、$f'$ が $[y_1, y_2]$ 上で連続である事に注意して中間値の定理から $f'(z) = 0$ なる $z \in (y_1, y_2) \subset (a, x_1)$ が存在する事となり、$x_1$ が $f'(x) = 0$ の最小の解である事に矛盾するからです。そうすると、命題 3 及びその系から、$f$ は $(a, x_1)$ 上で狭義単調増大あるいは狭義単調減少となります。

次に $(x_1, x_2)$ 上について同様に考えると、やはり $f$ は狭義単調増大あるいは狭義単調減少となります。もし $f$ が $(a, x_1)$ 上で狭義単調増大かつ $(x_1, x_2)$ 上で狭義単調減少となっているならば、$f$ は $x_1$ において極大値を取る事となります。逆に、$(a, x_1)$ 上で狭義単調減少かつ $(x_1, x_2)$ 上で狭義単調増大である場合には $f$ は $x_1$ で極小となります。それ以外の場合には $x_1$ において $f$ は極大あるいは極小となりません (即ち $(a, x_2)$ 上でずっと単調 (増大または減少) となります)。

同様の事を $(x_2, x_3), \ldots, (x_n, b)$ で繰り返し、極大値・極小値及び関数の各区間における増減を調べた上で、更に $f(a)$, $f(b)$ の値と各極大・極小値とを比較して最大値・最小値を求める…というのが、所謂「増減表を書いて関数の振る舞いを調べる」という手順の現代数学的な解釈です。

 

2 階導関数と凸関数

開区間 $I$ 上で微分可能な実数値関数 $f$ について、その導関数 $f'$ もまた $I$ 上の関数であるので、その微分可能性を考える事が出来ます。$f'$ が $x_0\in I$ で微分可能である時、$f$ は $x_0$ において 2 階微分可能である (twice differentiable) と言い、その微分係数を $f''(x_0)$ と表して 2 階微分係数 (second derivative) と呼びます。また $f'$ が $^\forall x\in I$ で微分可能である時、$f$ は $I$ 上で 2 階微分可能であるといい、関数 $f'' : I \longrightarrow \mathbb {R}$ を $f$ の 2 階導関数 (second derivative) と呼びます。更に $f''$ が $I$ 上で連続である時、$f$ は $C^2$-級 であると言い、$f\in C^2(I)$ と表します。3 階以上の微分係数や導関数の概念も同様に定義されます⁶。但し、高階導関数を表すのに $f'''\hspace{0.1mm}^\cdots$ と表すのは読みにくいので、$n$ 階導関数を $f^{(n)}$ とも表します。例えば $f^{(1)} = f'$, $f^{(2)} = f''$ です。同様に $f^{(0)} = f$ と解釈します。

関数の 2 階導関数はその関数が定めるグラフの凹凸と関係が深い事が知られています。増減表を書く時にも、一階微分だけでなく二階微分の計算まで行ってより詳細なグラフの形状を求める場合もあるでしょう。そのためにまず、関数の凹凸に関する数学的な定義を与えます。

この定義も、数式だけを見ているだけでは直観的なイメージが分かりにくいかもしれません。以下の図は凸関数 $f$ のグラフのイメージです。

(3) の不等式の左辺が表しているのは「線分 $[x, y]$ を $1 - \lambda : \lambda$ の割合に内分する点における $f$ の値」であり、右辺が表すのは「平面上の 2 点 $(x, f(x))$ と $(y, f(y))$ を $1 - \lambda : \lambda$ の割合に内分する点 (の高さ)」です。関数のグラフにおける任意の 2 点を結ぶ線分の内分点よりも $f$ のグラフが下に位置している、というのが凸性の直観的なイメージとなります。

凸関数に関する基本的な性質として以下があります。

---

証明. $y = x$ の時は (4) は明らかなので、$x < y$ として (4) の不等式を示す ($x > y$ の時も同様)。任意の $0 < h < y-x$ に対して $\lambda = 1 - h/(y-x) \ (\in (0, 1))$ と置くと⁷、(3) から $$\begin{align*} f(x+h) - f(x) &= f(x + (1-\lambda )(y-x)) - f(x)\\ &= f(\lambda x + (1 - \lambda )y) - f(x)\\ &\leq \lambda f(x) + (1 - \lambda )f(y) - f(x)\\ &= (1 - \lambda )(f(y) - f(x))\\ &= \frac{h(f(y) - f(x))}{y-x} \end{align*}$$ が成立。ここから $$(y-x)\cdot \frac{f(x+h) - f(x)}{h} \leq f(y) - f(x)$$ が得られるので、$h\rightarrow 0$ として⁸ (4) を得る。

---

実は、(4) から $f$ の凸性を示す事も出来ます (よって、微分可能な関数が凸である事と (4) が成り立つ事は同値です)。実際、所与の $x, y\in I$, $\lambda \in (0, 1)$ に対して、$z_\lambda = \lambda x + (1 - \lambda )y$ と置くと、(4) から $$\begin{align*} f(x) &\geq f(z_\lambda ) + f'(z_\lambda )(x - z_\lambda)\\ f(y) &\geq f(z_\lambda ) + f'(z_\lambda )(y - z_\lambda) \end{align*}$$ の 2 式が得られます。これらを組み合わせて $$\begin{align*} &\lambda f(x) + (1 - \lambda )f(y) \\ \geq &\lambda \{f(z_\lambda ) + f'(z_\lambda )(x - z_\lambda )\}\\ &+ (1 - \lambda )\{f(z_\lambda ) + f'(z_\lambda )(y - z_\lambda)\}\\ =&(\lambda + 1 - \lambda )f(z_\lambda ) + f'(z_\lambda )\left\{\lambda (x - z_\lambda) + (1 - \lambda )(y - z_\lambda )\right\}\\ =& f(z_\lambda ) + f'(z_\lambda)\{z_\lambda - z_\lambda \} = f(z_\lambda) = f(\lambda x + (1 - \lambda )y) \end{align*}$$ を得る事が出来ます。

この定理から、凸関数に関する数多くの性質を導く事が出来ます。以下、系として一挙に紹介していきます。

---

証明. $x < y$ とする時、(4) において $x$ と $y$ の役割を入れ替えた式 $$f(x) - f(y) \geq f'(y)(x-y) \ \ \left( \therefore \ \ f(y) - f(x) \leq f'(y)(y-x)\right)$$ 及び (4) そのものを組み合わせて $$f'(x)(y-x) \leq f(y) - f(x) \leq f'(y)(y-x)$$ を得る。後は各辺を $y-x$ で割れば $f'(x)\leq f'(y)$ が得られる。

---

---

証明. 上の系と命題 2 から明らか。

---

---

証明. 上の系より $f'$ は $I$ 上単調非減少であるため、$x\in I$ に対して $x\leq x_0$ ならば $f'(x) \leq f'(x_0) = 0$ である。よって命題 2 の系から $x\leq x_0$ ならば $f(x) \geq f(x_0)$ が成立。逆に $x\geq x_0$ の時は $f'(x)\geq f(x_0) = 0$ となるので、命題 2 から $x_0 \leq x$ の時 $f(x_0)\leq f(x)$ が成り立つ。いずれにしても任意の $x\in I$ に対して $f(x) \geq f(x_0)$ が成立しており、$f(x_0)$ は $f$ の $I$ 上の最小値となる。

また、$f$ が狭義凸の時に $x_0 \neq x_1$ の二点において $\min _If(x) = f(x_0) = f(x_1)$ となっていたとすると $$f\left(\frac{x_0 + x_1}{2}\right) < \frac{1}{2}f(x_0) + \frac{1}{2}f(x_1) = \min _If$$ となり矛盾が生じる ($(x_0+x_1)/2\in I$ において $f$ が最小値よりも小さな値を取ってしまう)。よって最小値を与える $x_0$ はたかだか一つしか無い。

---

 

上で述べたように、方程式 $f'(x) = 0$ を解いただけでは $x$ において $f$ が最大となっているのか最小となっているのか、それどころか極大か極小かすら一般には分からないのですが、凸関数に対しては $f'(x) = 0$ の解がそのまま $f$ の最小値を与える事が分かります (逆に、$f$ が凹関数であるならば $f'(x) = 0$ の解は $f$ の最大値に対応します)。よって、ある関数 $f$ の最小化問題を考える場合、もし $f$ の凸性が既に分かっているのならば、$f$ の最小値を求めるためには単に $f'(x) = 0$ となるような $x$ を探せば良い事になります ($f'(x) = 0$ の解が存在しない場合もあり、その時は注意が必要ですが)。

ここまでの話からも分かるように、凸関数は最適化問題 (optimization problem) において大変重要な役割を担っています。最適化問題とは、一言で言えば「何らかの関数 $f(x)$ (目的関数と呼ばれるもの) を最大化あるいは最小化するような $x$ 及び対応する $f(x)$ を求める問題」の事です。この時の変数 $x$ を制御 (control) と呼びます。

例えば複数の金融資産への分散投資において、「どの金融資産をどの位買うか (あるいは売るか)」を考える事はある種の最適化問題となっています。この場合、$x$ としては例えば「各資産への投資比率」が対応し、目的関数としては最大化を考える際は期待収益 (利益)、最小化を考える際はリスクあるいはコスト等が該当します。もし投資対象の金融資産が二種類だけであるならば、「第一資産に $x$ の割合だけ、第二資産に $1-x$ の割合だけ投資する」事にすれば問題を 1 変数 $x$ のみの最適化として定式化する事が出来ますが、通常はより多くの金融資産に対する投資比率の組み合わせ⁹を考えなければならず、その場合は多変数の最適化問題を考えなければなりません。

また、ニューラルネットワークをはじめとする機械学習における多くのモデルにおいて、学習とは「損失関数 (コスト関数) の最小化」を意味しています。つまり、大量のモデルパラメーターを動かして「損失関数が最も小さくなるようなパラメーターの組み合わせを探す」事を目指しており、これもまた多変数の最適化問題として定式化されるものです。

実際の最適化問題における目的関数は必ずしも凸とは限りませんが、もし凸性が厳密に保証されていない場合にも、現実的な最適化問題の求解において目的関数の導関数の挙動を調べる事はしばしば有用です。

凸関数に関する応用として、もう一つ有名な定理を示しておきます。

$n = 2$ の時は凸性の定義 (3) そのものです ($\lambda _2 = 1 - \lambda _1$ に注意)。定理 5 は、(5) が $n=2$ で成り立てば任意の $n\geq 3$ に対しても成立する事を主張しています。証明は数学的帰納法を用いて容易に行えますし、定理 4 の後に記した「(4) $\Longrightarrow$ 凸」の証明と同じ計算を行っても出来ます。

次の不等式もまた Jensen の不等式と呼ばれています。

---

証明. $x_0 = \frac{1}{b-a}\int ^b_ag(x)dx$ と置く。(4) より $$f(g(x)) \geq f(x_0) + f'(x_0)(g(x) - x_0), \ \ x\in [a, b]$$ となるので、§14 の命題 4 の系から $$\begin{align*} \int ^b_af(g(x))dx &\geq f(x_0)(b-a) + f'(x_0)\left(\int ^b_ag(x)dx - x_0(b-a)\right)\\ &= f(x_0)(b-a) \end{align*}$$ を得る。後は両辺を $b-a$ で割れば良い。

---

 

定理 5 は離散和に対する、定理 6 は Riemann 積分に対する不等式ですが、実は測度論の言葉を使うと、(5), (6) はどちらも「Lebesgue 積分に対する不等式」として一つにまとめる事が出来ます。特にこれらは全測度 $1$ の有限測度、即ち確率測度 (probability measure) の下での積分、つまり期待値 (expectation) に対する不等式と捉える事が出来るので、Jensen の不等式は確率論ではとりわけ重要な役割を担っています¹⁰。しかし今は、定理 5 の帰結として得られる次の有名な不等式を導くまでに留めておきます。

---

証明. $\lambda _1 = \cdots = \lambda _n = 1/n$, $f(x) = -\log x$ として定理 5 を適用すれば良い。$f$ が $(0, \infty)$ 上で凸である事は $f''(x) = 1/x^2 > 0$ である事から分かる¹¹。

---

 

寄り道: 凸関数の最適化アルゴリズム

これまで見てきた関数の微分の性質を用いて、いくつかの数値計算アルゴリズムの背後にある数学的根拠を調べてみたいと思います。まず、§7 の具体例に対する数値計算で用いた Newton–Raphson 法を紹介します。これは、非線形方程式 $f(x) = 0$ の解を数値的に求めるためのアルゴリズムであり、適当な初期値 $x_1\in \mathbb {R}$ から出発して漸化式 $$x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}\tag {7}$$ によって数列 $(x_n)_n$ を定める、という方法です。もしこれが何らかの $x^*$ に収束するのであれば、(7) で $n\rightarrow \infty$ として $$x^* = x^* - \frac{f(x^*)}{f'(x^*)}$$ 即ち $f(x^*) = 0$ が得られ、$x^*$ が解である事が分かります。実際の数値計算の際には適当な $N$ で打ち切って $x_N$ を近似解として用いる事になるのですが、$N$ が十分大きければ $x_N\approx x^*$ であり $f(x_N)\approx f(x^*) = 0$ である事が期待されます。

勿論上の方法はどんな $f$ に対しても適用出来るわけではなく、いくつかの数学的な仮定が必要です。例えば、$f(x) = 0$ の解が存在するためにはそもそも $f$ が常に正や常に負となっていては駄目ですし、また (7) を考えるためには $f'(x_n), f'(x^*)\neq 0$ となっていなくてはなりません。Newton-Raphson 法のための仮定の置き方にもいくつかのバリエーションが考えられますが、ここでは最も基本的と思われるものを紹介します。

---

証明. まず中間値の定理から、$f(c) = 0$ となる $c\in (a, b)$ が存在し、更に狭義単調性からそのような $c$ は唯一つに定まる。またやはり狭義単調性から常に $f' > 0$ である事にも注意。

さて、任意の $n\geq 2$ に対して次の二つが成り立つ事を示す。
1. $x_n\geq c$
2. $x_{n+1}\leq x_n$

まず 1. について、定理 4 と (7) から $$f(x_n) \geq f(x_{n-1}) + f'(x_{n-1})(x_n - x_{n-1}) = 0 \ (= f(c)) \tag {8}$$ となり、これと $f$ の単調増大性から分かる。2. については (8) と $f'(x_n) > 0$ より $$x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)} \leq x_n$$ が従う。

よって $(x_n)_{n\geq 2}$ は下に有界な単調非増大列なので極限 $x^*$ を持つ。(7) において $n\rightarrow \infty$ とすれば $f(x^*) = 0$ が得られる (従って $x^* = c$ である)。

---

 

証明中の性質 1. について、初期値である $x_1$ は適当に選んでいるので $c$ 以上とは限らないのですが、一旦 (7) のアルゴリズムが動き出すと、$n\geq 2$ に対しては $x_n$ 達は自動的に $c$ 以上かつ単調非増大となり、目的である $f(x) = 0$ の解に収束していく事が分かります。今回の証明では $f$ の凸性が本質的に機能しているのですが、一般には凸性が無くとも Newton–Raphson 法を適用する事が出来ます。例えば次の命題が知られています。

この命題では、$f'$ が $0$ にならない事は仮定されていますが、$f$ の単調性も凸性も何も仮定されていません。そのため、$f(x) = 0$ の解が唯一つに定まるとも限らず、複数の解を持つ場合も想定されます (少なくとも一つは解を持つ事は仮定されています¹²)。初期値の選び方によっては (7) による数列が我々の目標とする $x^*$ に収束してくれるとは限りませんし、もっと言えばいずれの解にも収束しない可能性もあります。この命題は、少なくとも目標の $x^*$ の近くにうまく初期値を選べば、(7) が定める $(x_n)_n$ が $x^*$ に収束する事を保証しています。しかしそのためには、予め $x^*$ がどの辺りに存在するのか当たりを付けておかなければなりません。

なお、Newton–Raphson 法は非線形方程式 $f(x) = 0$ の解に収束する近似列を作るために導関数 $f'$ を用いる手法であり、そのために $f$ はある程度滑らかである¹³と仮定されていなければならないのですが、$f$ が滑らかでなくとも $f(x) = 0$ の数値解を求めるアルゴリズムも知られています。例えば二分法 (bisection method) は、区間 $[a, b]$ において単調な連続関数 $f$ に対する零点 ($f(x) = 0$ となる $x$) を求めるために、まず零点が $[a, (a+b)/2]$ と $[(a+b)/2, b]$ のどちらにあるかを調べ、今度は該当する区間を更に半分に分割して零点がどちらにあるかを調べ…と、区間をどんどん半分にしていって零点を追い込んでいくような方法です。それ以外にも実用的なアルゴリズムとして様々なものが知られていますが、ここではこれ以上踏み込まない事にします。

さて、再び凸関数 $f : I \longrightarrow \mathbb {R}$ の最小化問題を考えます。$f$ は $C^2$-級であるとし、また簡単のため $I = \mathbb {R}$ とします。更に話を単純にするため $f'' > 0$ としましょう。すると $f'$ は狭義単調増大となり、もし $f'(x_0) = 0$ なる $x_0$ が存在すれば $f$ はそこで最小値を取る事となります¹⁴。

もし $f'$ が Newton–Raphson 法を適用出来る条件を満たしているならば、$f'(x_0) = 0$ の解 $x_0$ は適当な初期値 $x_1$ と $$x_{n+1} = x_n - \frac{f'(x_n)}{f''(x_n)}\tag {9}$$ というアルゴリズムで近似する事が出来る事となり、よって十分大きな $N$ に対して $f(x_N)\approx \min _{\mathbb {R}}f$ と考えられます。このように、最適化問題を解くためのアルゴリズムとして Newton–Raphson 法を応用する事も出来ます。

Newton–Raphson 法に基づいた最適化アルゴリズム (9) を適用する場合、毎回のステップにおいて一階微分係数 $f'(x_n)$ だけでなく二階微分係数 $f''(x_n)$ も計算する必要があります。今は一変数の関数だけを考えているので別に良いのですが、応用上は $x$ が多変数となっている事がほとんどです。また深層学習 (deep learning) で用いられるような複雑なモデルにおいては途轍もない数の変数に対して微分係数を計算する必要が生じます。ニューラルネットワークモデルの場合、一階微分 (所謂勾配 (gradient)) ならば誤差逆伝播法のような手法を用いて効率良く計算する事も出来ますが、二階微分を全て計算するのは現代のコンピューターの性能をもってしても困難となる場合が多いようです¹⁵。

ところで、最適化アルゴリズムにおいて一般に $$x_{n+1} = x_n - \eta _nf'(x_n) \tag{10}$$ という形で $(x_n)_n$ を更新していき、$f(x_n)$ を $\min f$ に近付ける方法を勾配法 (gradient method) と呼びます。ここで $\eta _n$ はステップ数 $n$ によって値を調節し得る係数であり、Newton–Raphson 法の場合は $\eta _n = 1/f''(x_n)$ と設定されます。

一方で、機械学習において最急降下法 (gradient descent) と呼ばれる手法 (の中で最もシンプルなもの) では、適当な小さな実数 $\alpha\in (0, 1)$ を用いて $\eta _n\equiv \alpha$ と設定します¹⁶。この場合、関数の二階微分の計算は必要が無いので、Newton–Raphson 法に基づいた最適化よりも計算コストを劇的に減らす事が出来ます。但し収束は多くの場合 Newton–Raphson 法よりもかなり遅くなると言われています。ここでパラメーター $\alpha$ はステップサイズを表しますが、機械学習の文脈において学習率 (learning rate) と呼ばれるのが一般的です。

ここではやはり $f$ が凸である場合のみを考えますが、学習率をある程度小さく取れば、最急降下法のアルゴリズムもまた数学的に最適解 (即ち $f$ の最小値を与える点) に収束する事が示されます (証明は次回とします)。

最急降下法等の手法を用いれば、(もし目的関数が数学的に良い性質を持っているならば) アルゴリズムの適用によって目的関数の最適化が果たせるはずですが、現実にはなかなかそううまくはいきません。理論的に保証されているのは「$n\rightarrow \infty$ とした時の収束」であり、「100 回繰り返せばうまくいく」「1000 回繰り返せば十分」等の具体的な基準が与えられているわけでもなく、また現実における目的関数はこれらの命題が前提としている程の綺麗な数学的仮定を満たしているとは限らないので、実際にはアルゴリズムの収束 (学習) がより効率的になるような現実的な (あるいは理論的考察に基づいた) 工夫の余地があります。その他、必ずしも (10) の形に限らず、$(x_n)_n$ の更新に関する様々な手法が提案されています¹⁷。

 

ここまでのまとめ

微分積分学の基本定理によって「微分の理論」と「積分の理論」を行き来しながら、今回は関数の微分に関する基本的な性質を調べました。関数を微分する事で、その関数の増減の様子を局所的に調べられますが、特に凸関数 (あるいは凹関数) の場合は微分を計算する事で大域的な振る舞いまで調べる事が出来ます。

凸関数に関する研究分野である凸解析 (convex analysis) では、今回扱ったような一次元の凸関数だけでなく、多変数あるいは無限次元の凸関数に関する様々な性質が扱われており、これらの理論を用いる事でより複雑かつ大規模な最適化問題の解析や求解を行う事が出来ます。凸解析はそれ自体かなり大きな研究分野ですが、今回はその触りとして、一変数の滑らかな凸関数について基本的な性質を (「寄り道」として) 紹介しました。

次回は再び積分に戻って、Riemann 積分に関する更なる性質を調べながら、微分積分学における花形とも言える Taylor の定理及び Taylor 展開に少しずつ迫っていきたいと思います。

 

補遺: 命題 1 の証明

関数の微分を扱う多くのテキストでは命題 1 や定理 2, 3 の証明に Rolle の定理や平均値の定理を使うのが一般的であり¹⁸、以下で与える証明もまた本質的にはこれらの定理の証明に倣っています。

---

証明. $f$ が定数関数でないとすると、ある $a, b\in I$, $a < b$ に対して $f(a)\neq f(b)$ となる。そこで関数 $g : [a, b] \longrightarrow \mathbb {R}$ を $$g(x) = f(x) - \frac{f(b) - f(a)}{b - a}\cdot (x-a) - f(a)$$ で定めれば、仮定から $g$ は $I$ 上で微分可能 (更には $C^1$-級) であり、特に $$g'(x) = -\frac{f(b) - f(a)}{b - a} \neq 0, \ \ x\in (a, b) \tag {11}$$ が成立。ところで、$g$ は $I$ 上の連続関数でもあるので、§12 の定理 1 から $^\exists c\in [a, b]$ s.t. $\max _{[a, b]}g = g(c)$ が成立する。ここで、もし $c\in (a, b)$ であるならば、$g$ は $c$ において極大となるので $g'(c) = 0$ となってしまい (11) と矛盾する¹⁹。よって $c = a \ \mbox { or }\ b$ のどちらかとなるが、いずれの場合にも $g(c) = 0$ が成立。よって $\max _{[a, b]}g = 0$ となる。同様にして $\min _{[a, b]}g = 0$ が示せるので、結局 $g(x) = 0$, $x\in [a, b]$ となるが、(§13 で述べたように) 定数関数の導関数は $0$ となる事から、再び (11) と矛盾してしまう。

以上より、背理法によって $f$ が定数関数である事が示された。

---

---

1. この場合、$f\in C^1([a, b])$ という記号を用います。閉区間上の微分可能な関数については後で補います。↩
2. この仮定はもう少し弱める事が出来、実際には $f$ は $[a, b]$ 上で (連続微分可能ではなく単に) 微分可能かつ Riemann 積分可能であるだけで十分です (脚注 1 と同様、端点での微分可能性については後述)。しかし、我々が当面対象とする関数は連続微分可能であるものがほとんどであるため、これ以上の拡張はここでは扱いません。なお定理 2 の仮定の下では $f'$ は $[a, b]$ 上で連続である事から (1) 左辺の Riemann 積分可能性は保証されている点に注意しましょう。↩
3. $\int ^b_a1dx$ の事を $\int ^b_adx$ と略記します。↩
4. より具体的に書き下すと、$^\exists a, b\in \mathbb {R}$ s.t. $a < b$, $(a, b)\subset I$, $$^\forall x\in (a, b): \ \ f(x) \leq f(x_0)$$ となりますが、文献によっては上の不等式において等号となる事を許さず $$^\forall x\in (a, b): \ \ f(x) < f(x_0)$$ の時のみ $f(x_0)$ を極大値と定義している場合もあります (極小値も同様)。↩
5. とは言え、「最大・最小となる点で極大・極小とならない」という問題が生じるのは定義域の端点に限られます (理由を考えてみて下さい)。↩
6. 自然数 $n\in \mathbb {N}$ に対する $C^n$-級関数全体の集合 $C^n(I)$ のアナロジーとして、$I$ 上の連続関数全体を $C^0(I)$ と表す事があります。単に $C(I)$ と表す事も多いです。↩
7. 言うまでも無く、$x+h = \lambda x + (1 - \lambda )y$ となるように逆算して定義しています。いきなりこの形の $\lambda$ を思いついた (思いつかなければならない) というわけではありません。↩
8. $h < 0$ の場合を考えていませんが、$f$ の $x$ における微分可能性は仮定されているので問題ありません (もっと言えば $h = 1/n$, $n\in \mathbb {N}$ という場合のみを考えて $n\rightarrow \infty$ とするのでも構いません)。↩
9. ポートフォリオ (portfolio) と呼びます。↩
10. 更に言えば、定理 5, 6 において実は $f$ の微分可能性の仮定は不要なのですが、簡単のためにこの仮定を置きました。↩
11. 狭義凸性を使えば、不等式の等号成立条件が $a_1 = \cdots = a_n$ である事まで分かりますが、詳細は割愛します。↩
12. このような主張を持つ定理を局所収束定理 (local convergence theorem) と呼びます。方程式の解の存在を仮定しないバージョンの定理も知られており、半局所収束定理 (semi-local convergence theorem) と呼ばれています。Newton–Raphson 法に対する半局所収束定理は Newton–Kantorovich の定理として知られています。↩
13. 厳密な言い方ではありませんが、関数が何回も微分可能である時にその関数を滑らか (smooth) と呼びます。文献によって、無限回微分可能である時に限って滑らかという表現を許す場合もあります。↩
14. そのような $x_0$ が一つも存在しないかもしれません。例えば $f(x) = e^x$ は $f''(x) = e^x > 0$ を満たしますが、$f'(x) = e^x = 0$ は実数解を持ちません。例えば $\lim _{x\rightarrow \pm \infty}f(x) = \infty$ であるならば、$f$ は $\mathbb {R}$ 上のどこかで最小値を取らざるを得ないので、その点で極小となり$f'(x_0) = 0$ の解が保証されます。このような条件を強圧性 (coercivity) と呼びます。↩
15. いずれ多変数関数の微分も扱いますが、例えば $x$ が $N$ 次元の変数である場合、$f(x)$ の一階微分は $N$ 個の方向に対する微分を集めた $N$ 次元ベクトルとなるのに対して、二階微分 (Hesse 行列 (Hessian matrix)) は $N\times N = N^2$ のサイズの行列となります。二階微分の計算では「まず $i = 1, \ldots, N$ 方向に微分してから、次に $j = 1, \ldots, N$ 方向に微分する」という手順が生じ、常に二つの方向に対する微分を考えなければならないからです。よって、例えば $N = 1,000$ であった場合、一階微分を計算するのには $1,000$ 回計算すれば良いところ、二階微分では $1,000^2 = 1,000,000$ 回の計算が必要となってしまいます (さらに言えば、各々の微分の計算量も一階微分よりも二階微分の方が多くなります)。勿論、問題によっては「$f$ がたまたま綺麗な形をしているために二階微分の計算が楽に出来る」という場合もあるかもしれませんが。↩
16. 文献によっては $$f(x_n - \eta _nf'(x_n)) = \sup _\eta f(x_n - \eta f'(x_n))$$ となるような $\eta _n$ を用いる等、更新と共に $\eta _n$ を適切に動かす場合にも最急降下法という名称を用いますが、機械学習の枠組みでは $\eta _n$ が定数の場合を指す事が多いようです。↩
17. 機械学習における最適化問題では、大量の入力データ (ここではその集合を $A = \{a_1, \ldots, a_M\} \subset \mathbb {R}$ とし、何らかの方法で全て実数値に変換されているものとします) に基づいて目的関数が $$f(x) = \frac{1}{M}\sum ^M_{i=1}g_i(x)$$ のような形で与えられるのが一般的です。但し $g_i$ は入力データ $a_i$ に依存した関数です。すると $f$ の微分は $$f'(x) = \frac{1}{M}\sum ^M_{i=1}g'_i(x)$$ という形で与えられるのですが、実際の機械学習においては、この $g'_1, \ldots, g'_M$ 全てを計算して足すのではなく、$\{1, \ldots, M\}$ の中からランダムに ($M$ と比較して) 少数の $\{i_1, \ldots, i_m\}$ を選び出して $\frac{1}{m}\sum ^m_{j=1}g'_{i_j}(x)$ を計算して $x_n$ を更新していく、という手順が取られる事が多く、こうする事で学習の効率性を向上させられる事が多いと言われています。このような方法をミニバッチ学習 (mini-batch training) と呼び、ミニバッチ学習と最急降下法 (あるいはそれ以外の勾配法) を組み合わせた手法を確率勾配降下法 (stochastic gradient descent; SGD) と呼びます。↩
18. なお、Rolle の定理と平均値の定理もまた、§6, §7 で紹介した実数の連続性公理と同値な命題です。↩
19. 今回示した命題 4 を使ってしまっており、命題 4 の証明には命題 2 が使われているので破綻しているように感じられるかもしれませんが、実は命題 2 の証明の後半では定理 2 を用いておらず、命題 4 自体において微分積分学の基本定理は必要とされていないので問題ありません。↩