05. 확률과 통계 배경 — 불확실한 평가와 데이터 기반 목적함수

// BACKGROUND 5/6 — random variable, distribution, expectation, variance, sampling, regression

최적화는 deterministic 문제만 다루지 않습니다. 데이터가 noise를 갖거나, 목적함수가 sampling으로 추정되거나, 시뮬레이션 결과가 불확실하면 확률과 통계가 필요합니다.

Random variable

random variable은 실험 결과를 숫자로 바꾸는 함수입니다. 최적화에서는 objective가 random variable일 수 있습니다.

$$F(x,\xi)$$

여기서 $x$는 우리가 고르는 변수이고, $\xi$는 데이터나 환경에서 오는 랜덤성입니다.

Distribution

distribution은 random variable이 어떤 값을 얼마나 자주 갖는지 설명합니다. 같은 평균을 가진 noise라도 Gaussian인지 heavy-tailed인지에 따라 최적화 방법의 안정성이 달라집니다.

예를 들어 outlier가 많은 데이터에서는 squared loss보다 absolute loss가 더 robust할 수 있습니다.

Expectation and variance

기댓값은 장기 평균입니다.

$$\mathbb{E}[X]$$

분산은 평균 주변의 흔들림입니다.

$$\mathrm{Var}(X)=\mathbb{E}\left[(X-\mathbb{E}[X])^2\right].$$

stochastic optimization은 보통 기대 목적함수를 최소화합니다.

$$\min_x \mathbb{E}_{\xi}[F(x,\xi)].$$

Sampling

기댓값을 정확히 모르면 sample 평균으로 근사합니다.

$$\mathbb{E}_{\xi}[F(x,\xi)]\approx \frac{1}{N}\sum_{i=1}^{N}F(x,\xi_i).$$

SGD는 전체 데이터의 gradient 대신 mini-batch sample gradient를 씁니다. 이 때문에 반복은 noisy하지만 계산비가 낮습니다.

Regression

regression은 입력과 출력 사이의 관계를 추정하는 문제입니다.

$$\min_{\theta}\sum_{i=1}^{n}(y_i-f_\theta(x_i))^2.$$

최적화 관점에서는 parameter $\theta$가 decision variable이고, loss가 objective function입니다. Expensive optimization에서는 regression model이 surrogate model로 쓰이기도 합니다.

기존 확률 문서와의 연결

• random variable과 distribution은 확률 공간과 확률 변수에서 더 자세히 다룹니다.
• expectation과 variance는 기댓값, 모멘트, 특성함수를 참고하세요.
• sampling과 CLT는 큰 수의 법칙, 중심극한정리, 안정성와 연결됩니다.

다음: 공학 모델링