이전에 칼만 필터 알고리즘에 대해 다뤘습니다. 오늘은 이에 대한 추가 내용을 다뤄 보고자 합니다. Defense 때문에 공부할 시간이 너무 부족했던 ㅜㅜ… 아무튼, 칼만 필터 최적화 과정은 KL Divergence, Cross Entropy 까지 연관이 되니 매우 중요한 내용이 됩니다. 칼만 필터 최적화 과정 칼만 필터 최적화 과정을 통해, 칼만 필터가 어떻게 Update가 되는지? 어떠한 의미를 가지고 있는지 보여드리고자 합니다. 칼만 게인 먼저, 칼만 게인은 다음과 같이 정의 됩니다. (칼만 필터를 얻는 식) \begin {align}K_k &=\Sigma_0(\Sigma_0+\Sigma_1)^{-1} \\K_k &=P_k^-H^T(HP_k^-H^T+R_k)^{-1} \\\text{ for scalar case } K_k &=\frac{P_k^-H^T}{(HP_k^-H^T+R_k)}\\\end {align} (1)의 컨셉을 가지고, 칼만 게인은 (2)식으로 얻어집니다. 여기서 H가 하나 사라지는 것을 볼 수 있는데, 이는 P_k 식을 구하는 과정에서 약분되기 때문입니다. 식 (2)에서 (3)으로 넘어가는 것은 쉽게 해석을 하기 위함입니다. Matrix보다는 스칼라 값을 이용하는 것이 해석적인 측면에서 매우 유리합니다. 최적화 알고리즘 \begin{align}f(x) &\sim f(x_i)+\braket{\nabla f(x_i),x-x_i} +\frac{1}{2}\braket{x-x_i,H(x-x_i)} \end{align} 여기에서 최소점은 Gradient가 0이되는 포인트가 됩니다. 그러면 최적점 x^* 에 대해서 식 (5)와 같은 Update 방식을 가지게 됩니다. \begin {align}\nabla f(x)&=0= \nabla f(x_i)+ H(x-x_i) \Rightarrow x^*=x_i-H^{-1}\nabla f(x_i)\end{align} 칼만 필터 최적화 칼만 필터는 공분산을 최소화 ...