화공 연구소

안녕하세요 화공공대생입니다. 이전에 간단하게 가우시안 프로세스에 대하여 알아보았습니다. 해당 글은 여기 를 참조해주세요. Bayesian Optimization 은 가우시안 프로세스를 응용해서 모르는 영역에 대하여 Regression하는 과정이라고 볼 수 있습니다. Bayesian Formula Bayesian Optimization에 알아 보기 전에, 용어 먼저 살펴보겠습니다. Prior : 사건 전 분포 (주어진 데이터), Posterior : 사건 후 분포 (주어진 데이터로 부터 새로운 데이터 예측), likelihood : 확률 밀도 함수(P.D.F.)에서 의 값. 수식까지는 정의이니 쉽게 이해하실 수 있으실 것입니다. \begin{equation}\begin{aligned}& p(\theta|X) =\frac{P(X|\theta)P(\theta)}{P(X)} \\&P(X|\theta):likelihood\\&P(\theta) : prior \\& p(\theta|X) : Posterior\end{aligned}\end{equation} 여기에서 식은 특별한게 없어 보입니다. 하지만 P(X) 를 다음과 같이 써준다면, 분모에 있는 값은 Normalization 시켜주는 역할을 하는 것을 알 수 있습니다. 위와 같이 정규화 작업을 시켜준 Parameter를 이용했을 때, 더 좋은 결과 값을 얻을 수 있습ㄴ니다. \begin{equation}P(X)=\int P(X | \theta) P(\theta) d\theta\end{equation} 분모와 똑같이 되니 다음과 같은 형태와 비교해주면, 쉽게 Normalization 시켜주는 역할임을 알 수 있습니다. \begin{equation}\hat{X_i} \rightarrow \frac{ X_i }{\sum_i X_i}\end{equation} 자, 그러면 일단 Posterior는 Normalization 된 분포가 됩니다. 여기서 그러면 평균이 0이고, 어떠한 분산을 가지는 형...

Wiener Process 는 연속적인 시간 에서 Simple한 Random walk를 말해줍니다. Wiener는 MIT 교수로 Brownian Motion을 가지고 주식과 옵션을 해석하려고 했던 분입니다. Brownian motion은 확률 적인 해석을 하는 대표적인 물리현상입니다. 확률 프로세스에서는 물리적 현상이 많이 응용됩니다. (연구가 많이 되어서 여러가지 이론들이 접목이 가능함) 또한, 확률 프로세스를 배우다보면, 옵션 을 하면 안되는 것임 을 알 수 있습니다. Random walk Random Walk는 확산 법칙을 배우다 보면, 한번씩 접해 보셨을 수도 있습니다. 가장 쉬운 1D 공간에서 알아보겠습니다. 동전을 던져서 앞면이 나오면 옆으로 한칸, 뒷면이 나오면 뒤로 한칸 이동한다고 하겠습니다. 기준점에서 n번 시행 후 얼마나 이동했을 지에 대한 평균 값은 E(X)=0 될 것입니다. 이 경우보다 조금 더 복잡한 과정이라고 한다면, 앞면이 나올 확률과 뒷면이 나올 확률이 다른 경우가 됩니다. 또한, 한칸이 아니라 \Delta x 만큼 이동한다고 보겠습니다. \begin{aligned}E(X) &=\Delta x p -\Delta x(1-p)\end{aligned} Random walk 시스템에 대해서 평균 값과 분산은 위 정의에 따라 쉽게 구해줄 수 있게 됩니다. Wiener Process Random Walk에서 간단하게 평균 값을 구해보았고, 여기서 조금 더 확장해서 연속적인 시간에 대해서 해석을 한것이 Wiener Process라고 할 수 있겠습니다. \begin{aligned}X(t) &=\Delta x (X_1+X_2+...X_{\frac{t}{\Delta t}}) \\E(X(t)) &=\Delta x p -\Delta x(1-p) = \Delta x \frac{t}{\Delta t} (2p-1)\\\end{aligned} 어려워 보이지만, t/\Delta t =총 동전 던진 횟수 로 해석하면 쉽게 해석이 ...

Gaussian Process 가우시안 프로세스 는 Regression을 하는 과정에서 정확한 값을 얻는 것이 아니라 어떠한 확률 분포를 얻는 것입니다. Regression을 할때 정확한 Weight(계수)를 얻는 것이 이전에 방법이 었다면, 가우시안 프로세스 는 확률적으로 Weight를 얻는 것이라고 말할 수 있습니다. Weight가 확률적으로 표현이 되니 평균 값 또한, 확률적 표현을 가지는 Mean function으로 예측이 됩니다. 이러한 Weight는 Covariance Function이 됩니다. 즉, 가우시안 프로세스는 적합한 Coviance를 찾아주는 작업이라고 볼 수 있습니다. Data 란? 우리는 데이터를 해석하기 위해서는 다음과 같은 성질이 있음을 알아야 합니다. Data는 Random error와 Main effect로 구별 할 수 있습니다.위 그림을 보시면 같은 포인트에서 여러번 실험해서 분산을 구하는 경우가 White noise인 Random error 부분에 해당합니다. 이 Random error는 평균이 0이게 되며, 반복 실험을 통해 얻어진 실험은 노이즈가 제거된 데이터로볼 수 있습니다. 반복 실험의 평균을 모아 전체 평균을 다시 내주게 되면, 우리는 Rnadom variable의 level 변화에 따라 (온도의 변화에 따라), 전체 평균으로 얼마나 멀어지는지 알 수 있습니다. 우리는 이를 가지고 Main effect라고 해주게됩니다.(a) 여기서 Main effcet라는 것이 Variance가 됩니다.즉, 가우시안 프로세스를 수행한다는 것은 이 Main effect에 대한 영향이 얼마나 잇는지 확인해주는 과정이라고도 볼 수 있습니다. 만약, 여러개의 Variable을 해석하는 경우에서는 Main effect들이 증가하게되고, Main effect들 끼리의 상호 작용이 발생할 수 있습니다. ab가 상호작용을 말하게되...