화공 연구소

Fisher Information matrix 는 KL divergence에서 "Gradient만 가지고도 Hessian을 만들 수 있다." 는 매우 중요한 정보를 주고 있다. 다음과 같은 확률 이 있음을 가정해보겠습니다. p(x |\theta) , x\in\mathbb{R}^n \,where, \theta \text{ is parameter vector} Score function M aximum Likelihood 를 통해 \theta 값을 추정할 수 있습니다. 최대우도법(Maximum likelihood, ML)에서는 log 확률에 대하여 미분하여 최대 값을 구하게 됩니다. 이 미분 값을 Score function으로 정의합니다. score\ function =s(\theta) =\nabla_{\theta}log{p(x|\theta)} score function의 경우 다음과 같은 성질을 만족합니다. \begin{align}\mathbb{E}_{p(x|\theta)}[s(\theta)] &=\mathbb{E}_{p(x|\theta)} [\nabla log{p(x|\theta)}] \\& =\int \nabla log{p(x|\theta)} p(x|\theta)dx \\& =\int\frac{ \nabla p(x|\theta)}{p(x|\theta)} p(x|\theta)dx \because\nabla log{p(x|\theta)} = \frac{\nabla p(x|\theta)}{p(x|\theta)} \\& =\nabla_{\theta} \int p(x|\theta)dx =0\end{align} x와 \theta 는 독립적이기 때문에 식 (3)에서 식(4)로 넘어갈 때, Gradient는 밖으로 나올 수 있습니다. 여기에서 Score function의 Covariance는 다음과 같이 정의해줄 수 있습니다. \begin{equation} \mathbb{E}_{p(x|\theta)} [s(\thet...

이전에 칼만 필터 알고리즘에 대해 다뤘습니다. 오늘은 이에 대한 추가 내용을 다뤄 보고자 합니다. Defense 때문에 공부할 시간이 너무 부족했던 ㅜㅜ… 아무튼, 칼만 필터 최적화 과정은 KL Divergence, Cross Entropy 까지 연관이 되니 매우 중요한 내용이 됩니다. 칼만 필터 최적화 과정 칼만 필터 최적화 과정을 통해, 칼만 필터가 어떻게 Update가 되는지? 어떠한 의미를 가지고 있는지 보여드리고자 합니다. 칼만 게인 먼저, 칼만 게인은 다음과 같이 정의 됩니다. (칼만 필터를 얻는 식) \begin {align}K_k &=\Sigma_0(\Sigma_0+\Sigma_1)^{-1} \\K_k &=P_k^-H^T(HP_k^-H^T+R_k)^{-1} \\\text{ for scalar case } K_k &=\frac{P_k^-H^T}{(HP_k^-H^T+R_k)}\\\end {align} (1)의 컨셉을 가지고, 칼만 게인은 (2)식으로 얻어집니다. 여기서 H가 하나 사라지는 것을 볼 수 있는데, 이는 P_k 식을 구하는 과정에서 약분되기 때문입니다. 식 (2)에서 (3)으로 넘어가는 것은 쉽게 해석을 하기 위함입니다. Matrix보다는 스칼라 값을 이용하는 것이 해석적인 측면에서 매우 유리합니다. 최적화 알고리즘 \begin{align}f(x) &\sim f(x_i)+\braket{\nabla f(x_i),x-x_i} +\frac{1}{2}\braket{x-x_i,H(x-x_i)} \end{align} 여기에서 최소점은 Gradient가 0이되는 포인트가 됩니다. 그러면 최적점 x^* 에 대해서 식 (5)와 같은 Update 방식을 가지게 됩니다. \begin {align}\nabla f(x)&=0= \nabla f(x_i)+ H(x-x_i) \Rightarrow x^*=x_i-H^{-1}\nabla f(x_i)\end{align} 칼만 필터 최적화 칼만 필터는 공분산을 최소화 ...

칼만필터 알고리즘은 제어 시스템에서 시작되었습니다. 제어시스템에서 칼만필터의 역할은 State equation에 Noise가 발생했을 때, Noise를 제거하고 State를 예측합니다. (State equation에 대한 내용은 여기를 참조 해주세요.) 노이즈는 데이터가 튀게 만드는 성질이 있습니다. 즉, 칼만필터는 튀는 데이터를 제거하는 역할을 한다고 할 수 있습니다.이러한 성질을 응용하여 칼만필터가 Learning Equation에 응용됩니다. Moving Average https://www.investopedia.com/terms/e/ema.asp Data가 정상적으로 들어오다가 갑자기 튀는 Noise들을 생각해볼 수 있습니다. 이러한 Noise의 영향을 최소화 하기 위해서 근처에 10개의 Data만 가지고 평균 값 계산한다고 하면 다음과 같이 써줄 수 있을 것입니다. \mu_k=\sum_{i=1+k}^{k+10} \frac{x_i}{10} incremental mean을 이용해서 풀어주게 되면, 머신러닝에서 쓰이는 간단한 형태의 식으로 표현이 가능해집니다. \mu_k = \mu_{k-1} +\frac{1}{n}(x_k-x_{k-n}) 모든 데이터에 동일한 가중치가 부여된다고 볼 수 있습니다. 여기서, 최신에 들어오는 데이터에 가중치를 더 주게되면 최신 데이터 위주로 평균 값이 나타나게 될 것입니다. 이를 Exponential Weighted Filter라고 불러주기도 합니다. \begin {aligned}\mu_k &=\mu_{k-1}*\alpha +(1-\alpha)x_k \\\mu_{k-1} &=\mu_{k-2}*\alpha +(1-\alpha)x_{k-1} \\ \mu_k &= \alpha^k\mu_0 +(1-\alpha)x_k+\alpha (1-\alpha)x_k+ \cdots \\\therefore \mu_k &= \alpha^k\mu_0 + \sum_{n=0}^{k-1} \alpha^n(1-\alpha)x_{...