안녕하세요 화공공대생입니다. 이전에 간단하게 가우시안 프로세스에 대하여 알아보았습니다. 해당 글은 여기 를 참조해주세요. Bayesian Optimization 은 가우시안 프로세스를 응용해서 모르는 영역에 대하여 Regression하는 과정이라고 볼 수 있습니다. Bayesian Formula Bayesian Optimization에 알아 보기 전에, 용어 먼저 살펴보겠습니다. Prior : 사건 전 분포 (주어진 데이터), Posterior : 사건 후 분포 (주어진 데이터로 부터 새로운 데이터 예측), likelihood : 확률 밀도 함수(P.D.F.)에서 의 값. 수식까지는 정의이니 쉽게 이해하실 수 있으실 것입니다. \begin{equation}\begin{aligned}& p(\theta|X) =\frac{P(X|\theta)P(\theta)}{P(X)} \\&P(X|\theta):likelihood\\&P(\theta) : prior \\& p(\theta|X) : Posterior\end{aligned}\end{equation} 여기에서 식은 특별한게 없어 보입니다. 하지만 P(X) 를 다음과 같이 써준다면, 분모에 있는 값은 Normalization 시켜주는 역할을 하는 것을 알 수 있습니다. 위와 같이 정규화 작업을 시켜준 Parameter를 이용했을 때, 더 좋은 결과 값을 얻을 수 있습ㄴ니다. \begin{equation}P(X)=\int P(X | \theta) P(\theta) d\theta\end{equation} 분모와 똑같이 되니 다음과 같은 형태와 비교해주면, 쉽게 Normalization 시켜주는 역할임을 알 수 있습니다. \begin{equation}\hat{X_i} \rightarrow \frac{ X_i }{\sum_i X_i}\end{equation} 자, 그러면 일단 Posterior는 Normalization 된 분포가 됩니다. 여기서 그러면 평균이 0이고, 어떠한 분산을 가지는 형...
