06. 가우시안 분포 — 보편성의 분포

Distribution 1/3. 가우시안(정규)분포를 "종 모양 곡선"이 아니라 세 개의 독립적인 유도 경로가 모두 도달하는 유일한 답으로 이해합니다. 배경: 확률 공간, 모멘트와 특성함수, CLT.

정의

$X \sim \mathcal{N}(\mu, \sigma^2)$ 의 확률밀도함수:

$$f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\Big( -\frac{(x-\mu)^2}{2\sigma^2} \Big), \qquad x \in \mathbb{R}$$

• $\mu$: 위치(평균이자 중앙값이자 최빈값 — 완전 대칭이므로 셋이 일치)
• $\sigma^2$: 스케일(분산)
• 정규화 상수 $\sigma\sqrt{2\pi}$ 는 가우스 적분 $\int e^{-u^2} du = \sqrt{\pi}$, 즉 $\Gamma(1/2) = \sqrt{\pi}$ 에서 나옵니다.

표준화: $Z = (X - \mu)/\sigma \sim \mathcal{N}(0,1)$. 모든 가우시안은 표준정규분포의 이동·스케일 변환이므로, 표 하나(또는 함수 하나 $\Phi$)로 전체 패밀리가 처리됩니다.

$$P(X \le x) = \Phi\Big( \frac{x-\mu}{\sigma} \Big), \qquad \Phi(z) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{z} e^{-t^2/2}\, dt$$

$\Phi$는 초등함수로 표현되지 않습니다 — 닫힌형 CDF가 없는 것은 가우시안도 마찬가지라는 점은 알파 안정 분포의 "밀도 닫힌형 부재"를 덜 이상하게 만들어 줍니다.

왜 하필 이 모양인가 — 세 가지 유도 경로

경로 1: 중심극한정리 (합의 극한)

CLT가 말하듯, 분산이 유한한 i.i.d. 요인들의 표준화된 합은 원 분포와 무관하게 $\mathcal{N}(0,1)$ 로 수렴합니다. 측정 오차, 생체 신호, 집계 통계처럼 "수많은 작은 독립 요인의 합"으로 생성되는 양이 가우시안에 가까운 이유입니다.

경로 2: 최대 엔트로피 (최소 가정)

"평균 $\mu$, 분산 $\sigma^2$" 두 가지만 알고 그 외에는 아무것도 모른다고 합시다. 이 제약 아래에서 미분 엔트로피

$$h(f) = -\int f(x) \ln f(x)\, dx$$

를 최대화하는 분포가 정확히 $\mathcal{N}(\mu, \sigma^2)$ 입니다(라그랑주 승수법으로 유도). 즉 가우시안은 "주어진 평균·분산 외에 추가 구조를 가장 덜 가정하는" 분포입니다. 통계 모델링에서 노이즈를 가우시안으로 두는 관행의 정보이론적 정당화입니다.

경로 3: 안정성 (합에 대한 닫힘)

독립 가우시안의 합은 다시 가우시안입니다:

$$\mathcal{N}(\mu_1, \sigma_1^2) + \mathcal{N}(\mu_2, \sigma_2^2) = \mathcal{N}(\mu_1+\mu_2,\ \sigma_1^2+\sigma_2^2)$$

안정성의 정의를 만족하며, 분산이 유한한 안정 분포는 가우시안이 유일합니다. 알파 안정 패밀리의 $\alpha = 2$ 꼭짓점입니다.

핵심 성질

특성함수와 MGF

$$\varphi(t) = \exp\Big( i\mu t - \frac{\sigma^2 t^2}{2} \Big), \qquad M(t) = \exp\Big( \mu t + \frac{\sigma^2 t^2}{2} \Big)$$

모든 차수의 모멘트가 존재하고, 중심 모멘트는:

$$\mathbb{E}[(X-\mu)^{2k}] = \sigma^{2k} (2k-1)!!, \qquad \mathbb{E}[(X-\mu)^{2k+1}] = 0$$

왜도 0, 첨도 3 — 첨도의 "기준점 3"은 가우시안에서 옵니다.

선형 변환·선형 결합에 대한 닫힘

$aX + b \sim \mathcal{N}(a\mu + b, a^2\sigma^2)$ 이며, 독립 가우시안의 임의 선형 결합도 가우시안입니다. 이 닫힘성 덕분에 선형 모델·칼만 필터·가우시안 프로세스에서 모든 중간 계산이 패밀리 안에 머뭅니다. "가우시안으로 시작하면 가우시안으로 끝난다" 가 선형 세계의 규칙입니다.

68–95–99.7 규칙

$$P(\lvert X - \mu \rvert \le \sigma) \approx 0.6827, \quad P(\lvert X - \mu \rvert \le 2\sigma) \approx 0.9545, \quad P(\lvert X - \mu \rvert \le 3\sigma) \approx 0.9973$$

꼬리가 $e^{-x^2/2}$ 로 매우 빠르게 죽습니다. $6\sigma$ 바깥 확률은 약 $2 \times 10^{-9}$. 이 빠른 감쇠는 장점(집중 부등식)이자 함정입니다 — 실제 데이터의 극단값 빈도가 가우시안 예측보다 훨씬 높은 경우(금융 수익률 등), 가우시안 모델은 위험을 체계적으로 과소평가합니다. 그 대안이 알파 안정 분포입니다.

독립과 비상관의 일치 (결합 가우시안 한정)

일반적으로 비상관($\mathrm{Cov} = 0$)은 독립보다 약한 조건이지만, 결합 가우시안(jointly Gaussian) 벡터에서는 두 개념이 일치합니다. 다변량 해석이 크게 단순해지는 이유입니다.

다변량 가우시안 (짧게)

$\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma)$, $\Sigma$는 양의 정부호 공분산 행렬:

$$f(\mathbf{x}) = \frac{1}{(2\pi)^{d/2} \lvert \Sigma \rvert^{1/2}} \exp\Big( -\frac{1}{2} (\mathbf{x}-\boldsymbol{\mu})^{\top} \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu}) \Big)$$

• 등고선은 타원(체) — $\Sigma$의 고유벡터가 축, 고유값이 축 길이의 제곱
• 주변 분포도, 조건부 분포도, 선형 사상도 모두 가우시안 — 칼만 필터와 가우시안 프로세스 회귀의 수학적 기반 전부가 이 세 문장입니다.
• 조건부 평균이 선형: $\mathbb{E}[X_1 \mid X_2 = x_2] = \mu_1 + \Sigma_{12}\Sigma_{22}^{-1}(x_2 - \mu_2)$ — 선형 회귀가 "가우시안 세계의 정확한 답"인 이유.

샘플링

균등 난수 $U_1, U_2 \sim \mathrm{Uniform}(0,1)$ 에서 (Box–Muller):

$$Z_1 = \sqrt{-2 \ln U_1}\, \cos(2\pi U_2), \qquad Z_2 = \sqrt{-2 \ln U_1}\, \sin(2\pi U_2)$$

$Z_1, Z_2$는 독립 표준정규입니다. 극좌표에서 반지름 제곱이 지수분포를 따른다는 사실을 이용한 것으로, 가우스 적분을 제곱해 극좌표로 푸는 고전 트릭의 알고리즘 버전입니다. 실무 라이브러리는 주로 개선판(폴라법, Ziggurat)을 씁니다.

통계·ML에서의 역할 요약

영역	가우시안이 하는 일
최소제곱법	가우시안 노이즈 가정 아래 MLE = OLS
베이즈 추론	평균 파라미터에 대한 자기 켤레
칼만 필터	선형·가우시안 상태공간에서 사후분포가 닫힌형 유지
가우시안 프로세스	함수 공간 위의 사전분포
VAE / 확산 모델	잠재 공간·노이즈 스케줄의 표준 선택 (reparameterization: $z = \mu + \sigma \epsilon$)
통계적 검정	CLT를 통해 검정통계량의 근사 분포 제공

한계 — 언제 가우시안을 의심해야 하는가

1. 무거운 꼬리: 극단값이 $e^{-x^2}$ 예측보다 자주 나오면(로그 수익률, 지연 시간) 가우시안은 부적합. → 알파 안정, Student-t
2. 유계 지지집합: 비율·확률처럼 $[0,1]$에 갇힌 양. → Beta
3. 비대칭: 왜도가 뚜렷한 데이터. → 로그정규, 감마, 왜곡 정규
4. 다봉성: 봉우리가 여러 개면 단일 가우시안으로 불가. → 혼합 모델(GMM)

이 페이지에서 기억할 것

1. 가우시안은 CLT(합의 극한), 최대 엔트로피(최소 가정), 안정성(합의 닫힘) — 세 경로가 모두 도달하는 유일한 답이다.
2. 선형 연산에 닫혀 있어 선형 세계(회귀, 칼만, GP)의 계산이 전부 닫힌형으로 떨어진다.
3. 꼬리는 $e^{-x^2/2}$ 로 죽는다 — 극단값을 체계적으로 과소평가할 수 있다.
4. 첨도 3, $\alpha = 2$: 가우시안은 더 큰 패밀리들(지수족, 안정족)의 특별한 꼭짓점이다.

다음 단계

• Beta 분포 — 무한 지지집합에서 $[0,1]$ 로
• 알파 안정 분포 — $\alpha = 2$ 를 벗어난 세계