KL Divergence

KL KL

$p(x)=N({\mathrm{\mu <!--\; \mu \; -->}}_1,{\mathrm{\sigma <!--\; \sigma \; -->}}_1)$ $q(x)=N({\mathrm{\mu <!--\; \mu \; -->}}_2,{\mathrm{\sigma <!--\; \sigma \; -->}}_2)$ $$\begin{array}{rl}KL(p,q)& =-<!--\; -\; -->\int <!--\; \int \; -->p(x)\log <!--\; \; -->q(x)dx+\int <!--\; \int \; -->p(x)\log <!--\; \; -->p(x)dx\\ \\ & =\frac{1}{2}\log <!--\; \; -->(2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_2^2)+\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2+({\mathrm{\mu <!--\; \mu \; -->}}_1-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_2{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_2^2}-<!--\; -\; -->\frac{1}{2}(1+\log <!--\; \; -->2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2)\\ \\ & =\log <!--\; \; -->\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}_2}{{\mathrm{\sigma <!--\; \sigma \; -->}}_1}+\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2+({\mathrm{\mu <!--\; \mu \; -->}}_1-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_2{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_2^2}.\end{array}$$ $KL(p,q)=\log <!--\; \; -->\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}_2}{{\mathrm{\sigma <!--\; \sigma \; -->}}_1}+\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}_1^2+({\mathrm{\mu <!--\; \mu \; -->}}_1-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_2{)}^2}{2{\mathrm{\sigma <!--\; \sigma \; -->}}_2^2}-<!--\; -\; -->\frac{1}{2}$