楠岡 成雄「Rademacher 複雑度と正則化」
§6 多層ニューラルネットワークに対する評価

　以下では $(E, \mathcal {E})$ は可測空間、$\nu$ は $(E, \mathcal {E})$ 上の確率測度、$X_1, \ldots , X_n$ は $E$-値確率変数列、$X_1, \ldots , X_n$ は独立で $X_i,$ $i = 1, \ldots , n,$ の確率法則は $\nu$ とする。

　さらに $\rho : \mathbb {R}\rightarrow \mathbb {R}$ は連続関数で、以下の 2 条件を満たすとする。

(R-1) $|\rho (t) - \rho (s)| \leq |t-s|,$     $t, s\in \mathbb {R},$

(R-2) $|\rho (0)|\leq 1.$

　また、$\mathcal {K}\subset \mathcal {M}(E)$ は $\{0, 1\}\subset \mathcal {K}$ を満たすとし、$r_k\geq 0,$ $k = 0, 1, 2, \ldots ,$ とする。

　さらに、$\mathcal {K}_0\subset \mathcal {M}(E)$ を $$\begin{align*} \mathcal {K}_0 &= \Bigg\{a_0 + \sum ^m_{i=1}a_ig_i\ ; \ m\geq 1, \ \ g_i\in \mathcal {K}, \ \ a_0, a_i\in \mathbb {R},\\ &\hspace{45mm} i = 1, \ldots , m, \ \ \sum ^m_{i=0}|a_i|\leq r_0\Bigg\} \end{align*}$$ とおき、$\mathcal {K}_k\subset \mathcal {M}(E),$ $k = 1, 2, \ldots ,$ を帰納的に $$\begin{align*} \mathcal {K}_k &= \Bigg\{a_0 + \sum ^m_{i=1}a_i\rho \circ g_i\ ; \ m\geq 1, \ \ g_i\in \mathcal {K}_{k-1}, \ \ a_0, a_i\in \mathbb {R},\\ &\hspace{50mm} i = 1, \ldots , m, \ \ \sum ^m_{i=0}|a_i|\leq r_k\Bigg\}, \ \ \ \ k = 1, 2, \ldots \end{align*}$$ で定める。

証明. 主張 1. は命題 3.4 の 1., 4. よりわかる。

　命題 3.4 の 5. より $$\mathcal {R}_n(\mathcal {K}_{k-1}\cup \{0\} ; \nu ) \leq \mathcal {R}_n(\mathcal {K}_{k-1} ; \nu ) + \frac{1}{n^{1/2}}|\rho (0)|.$$ また $$\begin{align*} \mathcal {R}_n(\{0, 1\} ; \nu ) &= \frac{1}{n}\mathrm {E}\left[\left(\sum ^n_{k=1}\sigma _k\right)\vee 0\right]\\ &\leq \frac{1}{n}\mathrm {E}\left[\left(\sum ^n_{k=1}\sigma _k\right)^2\right]^{1/2} = \frac{1}{n^{1/2}}. \end{align*}$$ よって、命題 3.4 の 3. より $$\mathcal {R}_n(\mathcal {K}_{k-1}\cup \{0, 1\} ; \nu ) \leq \mathcal {R}_n(\mathcal {K}_{k-1} ; \nu ) + \frac{2}{n^{1/2}}.$$ これと命題 3.4 の 1., 4. より主張 2. を得る。

　主張 3. は主張 1., 2. より帰納的に得る。

　主張 4. は $g_i\in \mathcal {M}(E),$ $i = 1, 2, \ldots , m,$ $a_i\in \mathbb {R},$ $i = 0, 1, 2, \ldots , m,$ ならば $$\left|a_0 + \sum ^m_{i=1}a_i\rho \circ g_i\right| \leq \sum ^m_{i=0}|a_i|$$ よりわかる。

　主張 5. を示す。$g_i\in \mathcal {M}(E),$ $i = 1, 2, \ldots , m,$ $a_i\in \mathbb {R},$ $i = 0, 1, 2, \ldots , m,$ ならば $$\left|a_0 + \sum ^m_{i=1}a_i\rho \circ g_i\right| \leq \left(\sum ^m_{i=0}|a_i|\right)\left(1\vee \max _{i=1, \ldots, m}|g_i(x)|\right)$$ であるので、 $$\begin{align*} \sup \{|g(x)|\ ; \ g\in \mathcal {K}_k\vee \{1\}\} \leq r_k\sup \{|g(x)|\ ; \ g\in \mathcal {K}_{k-1}\cup \{1\}\} \end{align*}$$ となる。これより主張 5. は帰納的に示される。

多層ニューラルネットワークを以下のように与える。$m\geq 1$ とし、$I_k\geq 1,$ $k = 0, 1, \ldots , m,$ $I_{m+1} = 1$ とする。 $$\begin{align*} \vec {a} &= (\vec {a}^{(0)}, \vec {a}^{(1)}, \ldots , \vec {a}^{(m)}), \\ \vec {a}^{(k)} &= \left\{a^{(k)}_{i, j}\right\}_{i = 1, \ldots , I_{k+1}, \ j = 1, \ldots, I_k + 1}\in \mathbb {R}^{I_{k+1}\otimes (I_k + 1)}, \ \ \ \ k = 0, \ldots , m, \end{align*}$$ と表すことにする。さらに、 $$\mathbb {A} = \oplus ^m_{k=0}\mathbb {R}^{I_{k+1}\otimes (I_k + 1)}$$ と表すことにする。

　$h_i\in \mathcal {M}(E),$ $i = 1, \ldots , I_0,$ とする。$g^{(k)}_i(\cdot ; \vec {a})\in \mathcal {M}(E),$ $k = 0, 1, \ldots , m,$ $i = 1, \ldots , I_{k+1},$ を以下のように帰納的に定める。 $$\begin{align*} g^{(0)}_i(x ; \vec {a}) &= \sum _{j = 1, \ldots , I_0}a^{(0)}_{i, j}h_j(x) + a^{(0)}_{i, I_0+1},\\ g^{(k+1)}_i(x ; \vec {a}) &= \sum _{j = 1, \ldots , I_{k+1}}a^{(k+1)}_{i, j}\rho (g^{(k)}_j(x)) + a^{(k+1)}_{i, I_{k+1}+1},\\ &\hspace{35mm} k = 0, 1, 2, \ldots , m - 1. \end{align*}$$ $g^{(m)}_1(x ; \vec {a})$ が出力である。 $$q_k(\vec {a}) = \max _{i = 1, \ldots , I_{k+1}}\sum ^{I_k+1}_{j = 1}|a^{(k)}_{i, j}|, \ \ \ \ k = 0, 1, \ldots , m, \ \vec {a}\in \mathbb {A},$$ とおく。

　$\mathcal {K} = \{h_i\ ; \ i = 1, \ldots , I_0\}$ とおき、$r_k\geq 0,$ $k = 0, 1, 2, \ldots ,$ を定めると $$\begin{align*} &\left\{g^{(k)}_i(\cdot ; \vec {a})\ ; \ i = 1, \ldots , I_{k+1}, \ q_l(\vec {a}) \leq r_l, \ l = 0, 1, \ldots , k\right\} \subset \mathcal {K}_k,\\ &\hspace{99mm}k = 0, 1, \ldots , m, \end{align*}$$ となることがわかる。よって、命題 3.11, 6.1 より以下のことがわかる。