目次

• 1次元の場合
  • 畳み込み
  • 再生性
• 多次元の場合
  • 畳み込み
  • 再生性

1次元の場合

2つの確率変数がそれぞれ異なる正規分布に従う場合、確率変数の和はどのような分布に従うか調べる。

1次元の正規分布の確率密度関数は以下のように表される。

\begin{align} p(x) = p_\mathcal{N}(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \\ \end{align}

ここで、\(\mu\in R\)は分布の平均、\(\sigma\in R\)は標準偏差。つまり以下が成り立つ。

\begin{align} \mu &= \mathbb{E}(x) = \int p(x) x dx \\ \sigma^2 &= \mathbb{E}\left((x-\mu)^2\right) = \int p(x) (x-\mu)^2 dx \\ \end{align}

畳み込み

畳み込み\(p_\mathcal{N}(\cdot | 0, \sigma_1^2) \ast p_\mathcal{N}(\cdot | z, \sigma_2^2)\)を計算する。

\begin{align} &\left(p_\mathcal{N}(\cdot | 0, \sigma_1^2) \ast p_\mathcal{N}(\cdot | z, \sigma_2^2)\right)(x) \\ = &\int p_\mathcal{N}(x-y | 0, \sigma_1^2) p_\mathcal{N}(y | z, \sigma_2^2) dy \\ = &\int \frac{1}{\sqrt{2\pi\sigma_1^2}} \exp \left(-\frac{(x-y)^2}{2\sigma_1^2}\right) \frac{1}{\sqrt{2\pi\sigma_2^2}} \exp \left(-\frac{(y-z)^2}{2\sigma_2^2}\right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \int \exp \left( -\frac{(x-y)^2}{2\sigma_1^2}-\frac{(y-z)^2}{2\sigma_2^2} \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \int \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( \sigma_2^2 (y-x)^2 + \sigma_1^2 (y-z)^2 \right) \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \int \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( \sigma_2^2 (y^2 - 2xy + x^2) + \sigma_1^2 (y^2 - 2zy + z^2) \right) \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \int \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( (\sigma_1^2 + \sigma_2^2)y^2 - 2(\sigma_2^2 x + \sigma_1^2 z)y + \sigma_2^2 x^2 + \sigma_1^2 z^2 \right) \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \int \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( (\sigma_1^2 + \sigma_2^2) \left(y - \frac{\sigma_2^2 x + \sigma_1^2 z}{\sigma_1^2 + \sigma_2^2}\right)^2 - \frac{\left( \sigma_2^2 x + \sigma_1^2 z \right)^2}{\sigma_1^2 + \sigma_2^2} + \sigma_2^2 x^2 + \sigma_1^2 z^2 \right) \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( - \frac{\left( \sigma_2^2 x + \sigma_1^2 z \right)^2}{\sigma_1^2 + \sigma_2^2} + \sigma_2^2 x^2 + \sigma_1^2 z^2 \right) \right) \int \exp \left( -\frac{\sigma_1^2 + \sigma_2^2}{2\sigma_1^2 \sigma_2^2} \left(y - \frac{\sigma_2^2 x + \sigma_1^2 z}{\sigma_1^2 + \sigma_2^2}\right)^2 \right) dy \\ = &\frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( - \frac{\left( \sigma_2^2 x + \sigma_1^2 z \right)^2}{\sigma_1^2 + \sigma_2^2} + \sigma_2^2 x^2 + \sigma_1^2 z^2 \right) \right) \sqrt{2\pi \frac{\sigma_1^2 \sigma_2^2}{\sigma_1^2 + \sigma_2^2}} \\ = &\frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2} \left( - \frac{\left( \sigma_2^2 x + \sigma_1^2 z \right)^2}{\sigma_1^2 + \sigma_2^2} + \sigma_2^2 x^2 + \sigma_1^2 z^2 \right) \right) \\ = &\frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2(\sigma_1^2 + \sigma_2^2)} \left( - \left( \sigma_2^2 x + \sigma_1^2 z \right)^2 + (\sigma_1^2 + \sigma_2^2)\sigma_2^2 x^2 + (\sigma_1^2 + \sigma_2^2)\sigma_1^2 z^2 \right) \right) \\ = &\frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \exp \left( -\frac{1}{2\sigma_1^2 \sigma_2^2(\sigma_1^2 + \sigma_2^2)} \left( -2 \sigma_1^2\sigma_2^2 x z + \sigma_1^2\sigma_2^2 x^2 + \sigma_1^2\sigma_2^2 z^2 \right) \right) \\ = &\frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \exp \left( -\frac{1}{2(\sigma_1^2 + \sigma_2^2)} \left( -2 x z + x^2 + z^2 \right) \right) \\ = &\frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}} \exp \left( -\frac{(x-z)^2}{2(\sigma_1^2 + \sigma_2^2)} \right) \\ = &p_\mathcal{N}(x | z, \sigma_1^2 + \sigma_2^2) \end{align}

再生性

\(x_1\sim \mathcal{N}(\mu_1, \sigma_1^2), x_2\sim \mathcal{N}(\mu_2, \sigma_2^2)\)とする。
それぞれの確率密度関数は以下のようになる。

\begin{align} p(x_1) = p_\mathcal{N}(x_1 | \mu_1, \sigma_1^2) = \frac{1}{\sqrt{2\pi\sigma_1^2}} \exp \left(-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}\right) \\ p(x_2) = p_\mathcal{N}(x_2 | \mu_2, \sigma_2^2) = \frac{1}{\sqrt{2\pi\sigma_2^2}} \exp \left(-\frac{(x_2-\mu_2)^2}{2\sigma_2^2}\right) \\ \end{align}

\( x = x_1 + x_2 \)が従う分布は畳み込みを用いて次のように計算できる。

\begin{align} p(x) &= \int p_\mathcal{N}(x_1 | \mu_1, \sigma_1^2) p_\mathcal{N}(x-x_1 | \mu_2, \sigma_2^2) dx_1 \\ &= \int p_\mathcal{N}(x - (x-x_1+\mu_1) | 0, \sigma_1^2) p_\mathcal{N}(x-x_1+\mu_1 | \mu_1+\mu_2, \sigma_2^2) dx_1 \\ &= \int p_\mathcal{N}(x - y | 0, \sigma_1^2) p_\mathcal{N}(y | \mu_1+\mu_2, \sigma_2^2) dy \\ &= p_\mathcal{N}(x | \mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) \end{align}

よって、正規分布に従う2つの独立な確率変数の和もまた、正規分布に従うことがわかる。このような性質を再生性という。

\begin{align} x_1 + x_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2) \end{align}

多次元の場合

N次元の正規分布の確率密度関数は以下のように表される。

\begin{align} p(x) = p_\mathcal{N}(x | \mu, \Sigma) = \frac{1}{(2\pi)^{N/2}|\Sigma|^{1/2}} \exp \left(-\frac{1}{2}(x-\mu)^\top\Sigma^{-1}(x-\mu)\right) \\ \end{align}

ここで、\(\mu\in R^N\)は分布の平均、半正定値対称行列\(\Sigma\in R^{N\times N}\)は分散共分散行列。つまり以下が成り立つ。

\begin{align} \mu &= \mathbb{E}(x) = \int p(x) x dx \\ \Sigma &= \mathbb{E}\left((x-\mu)(x-\mu)^\top\right) = \int p(x) (x-\mu)(x-\mu)^\top dx \\ \end{align}

\(N=1\)のときは1次元の正規分布と一致する。

畳み込み

畳み込み\(p_\mathcal{N}(\cdot | 0, \Sigma_1) \ast p_\mathcal{N}(\cdot | z, \Sigma_2)\)を計算する。
\(\Sigma_1, \Sigma_2\)は対称行列なので、その和や逆行列も対称行列となることを利用している。

\begin{align} &\left(p_\mathcal{N}(\cdot | 0, \Sigma_1) \ast p_\mathcal{N}(\cdot | z, \Sigma_2)\right)(x) \\ = &\int p_\mathcal{N}(x-y | 0, \Sigma_1) p_\mathcal{N}(y | z, \Sigma_2) dy \\ = &\int \frac{1}{(2\pi)^{N/2}|\Sigma_1|^{1/2}} \exp \left(-\frac{1}{2}(x-y)^\top\Sigma_1^{-1}(x-y)\right) \frac{1}{(2\pi)^{N/2}|\Sigma_2|^{1/2}} \exp \left(-\frac{1}{2}(y-z)^\top\Sigma_2^{-1}(y-z)\right) dy \\ = &\frac{1}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}}\int \exp \left(-\frac{1}{2}\left( (x-y)^\top\Sigma_1^{-1}(x-y) + (y-z)^\top\Sigma_2^{-1}(y-z) \right)\right) dy \\ = &\frac{1}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}}\int \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x - x^\top\Sigma_1^{-1} y - y^\top\Sigma_1^{-1} x + y^\top\Sigma_1^{-1} y + y^\top\Sigma_2^{-1} y - y^\top\Sigma_2^{-1} z - z^\top\Sigma_2^{-1} y + z^\top\Sigma_2^{-1} z \right)\right) dy \\ = &\frac{1}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}}\int \exp \left(-\frac{1}{2}\left( y^\top(\Sigma_1^{-1}+\Sigma_2^{-1})y - (x^\top\Sigma_1^{-1}+z^\top\Sigma_2^{-1})y - y^\top(\Sigma_1^{-1} x+\Sigma_2^{-1} z) + x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z \right)\right) dy \\ = &\frac{1}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}}\int \exp \left(-\frac{1}{2}\left( y^\top(\Sigma_1^{-1}+\Sigma_2^{-1})y - (\Sigma_1^{-1} x+\Sigma_2^{-1} z)^\top y - y^\top(\Sigma_1^{-1} x+\Sigma_2^{-1} z) + x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z \right)\right) dy \\ = &\frac{1}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}}\int \exp \left(-\frac{1}{2}\left( \left( y - (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top(\Sigma_1^{-1}+\Sigma_2^{-1})\left( y - (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right) \right. \right. \\ &\hspace{125pt} \left. \left. - \left( (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top(\Sigma_1^{-1}+\Sigma_2^{-1})(\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right. \right. \\ &\hspace{125pt} \left. \left. + x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z \right)\right) dy \\ = &\frac{(2\pi)^{N/2}|(\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}|^{1/2}}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - \left( (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)\right) \\ \end{align}

ここで\(\Sigma_3 := \Sigma_1 + \Sigma_2\)とすると、

\begin{align} \Sigma_1 (\Sigma_1^{-1}+\Sigma_2^{-1}) \Sigma_2 &= I \Sigma_2 + \Sigma_1 I \\ &= \Sigma_3 \end{align}

なので、

\begin{align} (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1} &= (\Sigma_1^{-1} \Sigma_3 \Sigma_2^{-1})^{-1} \\ &= \Sigma_2 \Sigma_3^{-1} \Sigma_1 \end{align}

したがって、

\begin{align} &\left(p_\mathcal{N}(\cdot | 0, \Sigma_1) \ast p_\mathcal{N}(\cdot | z, \Sigma_2)\right)(x) \\ = &\frac{(2\pi)^{N/2}|(\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}|^{1/2}}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - \left( (\Sigma_1^{-1}+\Sigma_2^{-1})^{-1}(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)\right) \\ = &\frac{(2\pi)^{N/2}|\Sigma_2 \Sigma_3^{-1} \Sigma_1|^{1/2}}{(2\pi)^N|\Sigma_1 \Sigma_2|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - \left( \Sigma_2 \Sigma_3^{-1} \Sigma_1(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - \left( \Sigma_1(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)^\top\Sigma_3^{-1}\Sigma_2(\Sigma_1^{-1} x+\Sigma_2^{-1} z) \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - \left( x+\Sigma_1\Sigma_2^{-1} z\right)^\top\Sigma_3^{-1}(\Sigma_2\Sigma_1^{-1} x+z) \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_1^{-1} x + z^\top\Sigma_2^{-1} z - x^\top\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1}x - x^\top\Sigma_3^{-1}z - z^\top\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1}x - z^\top\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1}z \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top(\Sigma_1^{-1}-\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1})x - x^\top\Sigma_3^{-1}z - z^\top\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1}x + z^\top(\Sigma_2^{-1}-\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1})z \right)\right) \\ \end{align}

それぞれの項の行列部分を見る。

\begin{align} \Sigma_1^{-1}-\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1} &= \Sigma_1^{-1}-\Sigma_3^{-1}(\Sigma_3 - \Sigma_1)\Sigma_1^{-1} \\ &= \Sigma_1^{-1}-\Sigma_3^{-1}\Sigma_3\Sigma_1^{-1}+\Sigma_3^{-1}\Sigma_1\Sigma_1^{-1} \\ &= \Sigma_1^{-1}-\Sigma_1^{-1}+\Sigma_3^{-1} \\ &= \Sigma_3^{-1} \\ \\ \Sigma_2^{-1}-\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1} &= \Sigma_2^{-1}-\Sigma_2^{-1}(\Sigma_3-\Sigma_2)\Sigma_3^{-1} \\ &= \Sigma_2^{-1}-\Sigma_2^{-1}\Sigma_3\Sigma_3^{-1}+\Sigma_2^{-1}\Sigma_2\Sigma_3^{-1} \\ &= \Sigma_2^{-1}-\Sigma_2^{-1}+\Sigma_3^{-1} \\ &= \Sigma_3^{-1} \\ \end{align}

上の結果を用いて、

\begin{align} \Sigma_2^{-1}\Sigma_1\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1} &= (\Sigma_2^{-1} - \Sigma_3^{-1})\Sigma_2\Sigma_1^{-1} \\ &= \Sigma_1^{-1} - \Sigma_3^{-1}\Sigma_2\Sigma_1^{-1} \\ &= \Sigma_3^{-1} \\ \end{align}

これらをまとめると、畳み込みの最終的な結果が正規分布になることがわかる。

\begin{align} &\left(p_\mathcal{N}(\cdot | 0, \Sigma_1) \ast p_\mathcal{N}(\cdot | z, \Sigma_2)\right)(x) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top(\Sigma_1^{-1}-\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1})x - x^\top\Sigma_3^{-1}z - z^\top\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1}\Sigma_2\Sigma_1^{-1}x + z^\top(\Sigma_2^{-1}-\Sigma_2^{-1}\Sigma_1\Sigma_3^{-1})z \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( x^\top\Sigma_3^{-1}x - x^\top\Sigma_3^{-1}z - z^\top\Sigma_3^{-1}x + z^\top\Sigma_3^{-1}z \right)\right) \\ = &\frac{1}{(2\pi)^{N/2}|\Sigma_3|^{1/2}} \exp \left(-\frac{1}{2}\left( (x-z)^\top\Sigma_3^{-1}(x-z) \right)\right) \\ = &p_\mathcal{N}(x | z, \Sigma_3) \\ = &p_\mathcal{N}(x | z, \Sigma_1 + \Sigma_2) \\ \end{align}

再生性

\(x_1\sim \mathcal{N}(\mu_1, \Sigma_1), x_2\sim \mathcal{N}(\mu_2, \Sigma_2)\)とする。
このとき、\( x = x_1 + x_2 \)が従う分布は畳み込みを用いて次のように表される。

\begin{align} p(x) &= \int p_\mathcal{N}(x_1 | \mu_1, \Sigma_1) p_\mathcal{N}(x-x_1 | \mu_2, \Sigma_2) dx_1 \\ &= \int p_\mathcal{N}(x - (x-x_1+\mu_1) | 0, \Sigma_1) p_\mathcal{N}(x-x_1+\mu_1 | \mu_1+\mu_2, \Sigma_2) dx_1 \\ &= \int p_\mathcal{N}(x - y | 0, \Sigma_1) p_\mathcal{N}(y | \mu_1+\mu_2, \Sigma_2) dy \\ &= p_\mathcal{N}(x | \mu_1 + \mu_2, \Sigma_1 + \Sigma_2) \end{align}

よって、多次元においても再生性が成立することがわかる。

\begin{align} x_1 + x_2 \sim \mathcal{N}(\mu_1 + \mu_2, \Sigma_1 + \Sigma_2) \end{align}