Fisher Information matrix 는 KL divergence에서 "Gradient만 가지고도 Hessian을 만들 수 있다." 는 매우 중요한 정보를 주고 있다. 다음과 같은 확률 이 있음을 가정해보겠습니다. p(x |\theta) , x\in\mathbb{R}^n \,where, \theta \text{ is parameter vector} Score function M aximum Likelihood 를 통해 \theta 값을 추정할 수 있습니다. 최대우도법(Maximum likelihood, ML)에서는 log 확률에 대하여 미분하여 최대 값을 구하게 됩니다. 이 미분 값을 Score function으로 정의합니다. score\ function =s(\theta) =\nabla_{\theta}log{p(x|\theta)} score function의 경우 다음과 같은 성질을 만족합니다. \begin{align}\mathbb{E}_{p(x|\theta)}[s(\theta)] &=\mathbb{E}_{p(x|\theta)} [\nabla log{p(x|\theta)}] \\& =\int \nabla log{p(x|\theta)} p(x|\theta)dx \\& =\int\frac{ \nabla p(x|\theta)}{p(x|\theta)} p(x|\theta)dx \because\nabla log{p(x|\theta)} = \frac{\nabla p(x|\theta)}{p(x|\theta)} \\& =\nabla_{\theta} \int p(x|\theta)dx =0\end{align} x와 \theta 는 독립적이기 때문에 식 (3)에서 식(4)로 넘어갈 때, Gradient는 밖으로 나올 수 있습니다. 여기에서 Score function의 Covariance는 다음과 같이 정의해줄 수 있습니다. \begin{equation} \mathbb{E}_{p(x|\theta)} [s(\thet...