楠岡 成雄「Rademacher 複雑度と正則化」
§2 準備

証明. $a < b$ の時に示せば良い。$\exp (tx)$ は $x$ の凸関数であるので $$\exp (tx) \leq \frac{x-a}{b-a}e^{tb} + \frac{b-x}{b-a}e^{ta}, \ \ \ \ \ x\in [a, b]$$ が成立する。よって $$\mathrm {E}[\exp (tX)] \leq \frac{-a}{b-a}e^{tb} + \frac{b}{b-a}e^{ta}.$$ $p = (-a)/(b-a)\in [0, 1]$ とおくと、命題 2.1 より $$\begin{align*} &\frac{-a}{b-a}e^{tb} + \frac{b}{b-a}e^{ta}\\ &= p\exp (t(b-a)(1-p)) + (1-p)\exp(-t(b-a)p)\\ &\leq \exp (t^2(b-a)^2/8). \end{align*}$$

証明. 1. を示す。$\varphi (t) = \log \mathrm {E}[\exp (tX)],$ $t\in \mathbb {R},$ とおくと、 $$\begin{align*} \varphi (0) &= 0, \\ \varphi '(t) &= \frac{\mathrm {E}[X\exp (tX)]}{\mathrm {E}[\exp (tX)]}, \ \ \ \ t\in \mathbb {R}, \\ \varphi ''(t) &= \frac{\mathrm {E}[X^2\exp (tX)]}{\mathrm {E}[\exp (tX)]} - \left(\frac{\mathrm {E}[X\exp (tX)]}{\mathrm {E}[\exp (tX)]}\right)^2 \ \geq \ 0, \ \ \ \ t\in \mathbb {R} \end{align*}$$ が成り立つ。

　$\varphi '(0) = \mathrm {E}[X] = 0$ であるので $$\varphi (t) = \int ^t_0ds_1\left(\int ^{s_1}_0\varphi ''(s_2)ds_2\right)$$ となる。また、 $$0\leq \varphi ''(t) \leq \frac{\mathrm {E}[X^2\exp (tX)]}{\mathrm {E}[\exp (tX)]}$$ となる。

　これより、 $$\begin{align*} \varphi ''(t) &\leq \frac{\mathrm {E}[X^2\exp (tX)]}{\mathrm {E}[\exp (tX)]}\\ &\leq 2\log \left(\frac{\mathrm {E}\left[\exp \left(\frac{1}{2}X^2\right)\exp (tX)\right]}{\mathrm {E}[\exp (tX)]}\right) \end{align*}$$ となる。 $$\begin{align*} \mathrm {E}\left[\exp \left(\frac{1}{2}X^2\right)\exp (tX)\right] &= \mathrm {E}\left[\exp \left(X^2 - \frac{1}{2}(X-t)^2 + \frac{t^2}{2}\right)\right]\\ &\leq \mathrm {E}[\exp (X^2)]\exp \left(\frac{t^2}{2}\right). \end{align*}$$ よって、 $$\varphi ''(t) \leq 2\log \mathrm {E}[\exp (X^2)] + t^2, \ \ \ \ t\in (0, 1]$$ であり $$\begin{align*} \frac{1}{t^2}\log \mathrm {E}[\exp (tX)] &= \frac{1}{t^2}\varphi (t)\\ &\leq \log \mathrm {E}[\exp (X^2)] + \frac{1}{2}, \ \ \ \ t\in (0, 1] \end{align*}$$ となる。また、 $$\begin{align*} \frac{1}{t^2}\log \mathrm {E}[\exp (tX)] &= \frac{1}{t^2}\log \mathrm {E}\left[\exp \left(X^2 - \left(X - \frac{t}{2}\right)^2 + \frac{t^2}{4}\right)\right]\\ &\leq \log \mathrm {E}[\exp (X^2)] + \frac{1}{2}, \ \ \ \ t\geq 1 \end{align*}$$ である。よって、 $$\sup _{t > 0}\frac{1}{t^2}\log \mathrm {E}[\exp (tX)] \leq \log \mathrm {E}[\exp (X^2)] + \frac{1}{2}$$ を得る。これより主張 1. を得る。

　2. は $$\begin{align*} \sup _{t\neq 0}\frac{1}{t^2}\log \mathrm {E}[\exp (tX)] \leq \sup _{t\neq 0}\frac{\gamma _0}{t^2}\log \mathrm {E}\left[\exp \left (t\gamma ^{-1/2}_0X\right )\right ] \end{align*}$$ よりわかる。