楠岡 成雄「Rademacher 複雑度と正則化」
§5 正則化のための準備

$(E, \mathcal {E})$ は可測空間、$\nu$ を $(E, \mathcal {E})$ 上の確率測度とする。$\Theta$ は距離空間で $F : E\times \Theta \rightarrow \mathbb {R}$ は可測関数とする。また、$\phi _0 : \Theta \rightarrow [0, \infty )$ を連続関数とする。$r > 0$ に対して $\mathcal {M}(E)$ の空でない部分集合 $\mathcal {K}_r$ を $$\mathcal {K}_r = \{F(\cdot , \theta )\in \mathcal {M}(E)\ ; \ \phi _0(\theta ) \leq r\}$$ で定める。

　また、$(\Omega , \mathcal {F}, P)$ は確率空間、$X_k,$ $k = 1, 2, \ldots ,$ は独立同分布な $E$-値確率変数でその分布は $\nu$ とする。

　以下では $n\geq 1$ は固定して考える。

　この時、以下が成立する。

証明. 命題 4.3 より、任意の $s > 0$ 及び $r \geq r_0$ に対して $$\begin{align*} &P\left(\sup _{g\in \mathcal {K}_r}\left|\frac{1}{n}\sum ^n_{k=1}g(X_k) - \int _Egd\nu \right| > \frac{s}{n^{1/2}} +2\mathcal {R}_n(\mathcal {K} ; \nu )\right)\\ &\leq 2\exp \left(-\frac{1}{2\psi _1(r)^2}s^2\right) \end{align*}$$ が成り立つ。よって、$s = a\tilde {\psi }_1(r) = a\psi _1(r)r^{1/2}$ とおくと $$\begin{align*} &P\left(\sup _{g\in \mathcal {K}_r}\left|\frac{1}{n}\sum ^n_{k=1}g(X_k) - \int _Egd\nu \right| > \frac{a\tilde {\psi }_1(r)}{n^{1/2}} +2\psi _2(r)\right)\\ &\leq 2\exp \left(-\frac{ra^2}{2}\right), \ \ \ \ \ a > 0, \ \ r \geq r_0 \end{align*}$$ を得る。

　さらに、$l\geq 1$ に対して $$\Omega '_{a, l} = \left\{\sup _{g\in \mathcal {K}_{r_0 + l}}\left|\frac{1}{n}\sum ^n_{k=1}g(X_k) - \int _Egd\nu \right| > \frac{a\tilde {\psi }_1(r_0 + l)}{n^{1/2}} +2\psi _2(r_0 + l)\right\}$$ とおくと、 $$\begin{align*} P\left(\bigcup ^\infty _{l = 1}\Omega '_{a, l}\right) &\leq \sum ^\infty _{l=1}P(\Omega '_{a, l})\\ &\leq 2\sum ^\infty _{l=1}\exp (-(r_0 + l)a^2/2)\\ &= 2\frac{\exp (-(r_0 + 1)a^2/2)}{1-\exp (-a^2/2)} \end{align*}$$ を得る。 $$\Omega _a = \Omega \setminus \left(\bigcup ^\infty _{l=1}\Omega '_{a, l}\right)$$ とおくと $r_0 + l - 1 \leq \phi _0(\theta )\vee r_0 + l,$ $l\geq 1,$ ならば $F(\cdot , \theta )\in \mathcal {K}_{r_0 + l}$ であるので、$\omega \in \Omega _a$ に対して $$\begin{align*} &\left|\frac{1}{n}\sum ^n_{k=1}F(X_k, \theta ) - \int _EF(x, \theta )d\nu \right| \\ &\leq \frac{a}{n^{1/2}}\tilde {\psi }_1(\phi _0(\theta )\vee r_0 + 1) + 2\psi _2(\phi _0(\theta )\vee r_0 + 1) \end{align*}$$ が成立する。

証明. 命題 4.2 より、任意の $s > 0$ 及び $r \geq r_0$ に対して $$\begin{align*} &P\left(\sup _{g\in \mathcal {K}_r}\left|\frac{1}{n}\sum ^n_{k=1}g(X_k) - \int _Egd\nu \right| > \frac{s}{n^{1/2}} +2\mathcal {R}_n(\mathcal {K} ; \nu )\right)\\ &\leq 2\exp \left(-\frac{1}{\psi _1(r)c_1}s^2\right) \end{align*}$$ が成り立つ。よって、$s = a\tilde {\psi }_1(r) = a(c_1\psi _1(r)r)^{1/2}$ とおくと、 $$\begin{align*} &P\left(\sup _{g\in \mathcal {K}_r}\left|\frac{1}{n}\sum ^n_{k=1}g(X_k) - \int _Egd\nu \right| > \frac{\tilde {\psi }_1(r)a}{n^{1/2}} +2\psi _2(r)\right)\\ &\leq 2\exp \left(-ra^2\right), \ \ \ \ \ a > 0, \ \ r \geq r_0 \end{align*}$$ を得る。

　よって、命題 5.1 の証明と同様にして主張を得る。