본문으로 건너뛰기

Math::

// FOUNDATIONS — 확률과 미분을 공리에서부터 다시 쌓아 올리는 공간

수학을 "공식 암기"가 아니라 왜 그런 모양인지부터 이해하는 것을 목표로 하는 노트입니다. 현재 두 시리즈가 있습니다: 확률(배경 이론 5편 + 분포 심화 3편)과 미적분(Calculus 5편). 각 시리즈 안에서 순서대로 읽으면 정의·성질·활용이 하나의 흐름으로 연결됩니다.

권장 학습 순서는 아래와 같습니다. 사이드바는 최신순 정렬이므로, 처음 읽는다면 이 목록의 순서를 따라가세요.

Background (배경 이론 5편)​

Distributions (분포 심화 3편)​

  • 가우시안 분포 — 정의, 표준화, 선형 결합 닫힘성, 최대 엔트로피, CLT와의 관계, 샘플링
  • Beta 분포 — [0,1] 위의 분포, 형태 파라미터의 직관, 순서통계량과의 관계, Bernoulli 켤레성, Thompson sampling
  • 알파 안정 분포 — 안정성의 정의, 특성함수 파라미터화, 가우시안·코시·레비 특수 사례, 무거운 꼬리와 일반화 CLT

Calculus (미분 5편)​

  • 극한과 미분의 정의 — ε-δ 극한, 차분몫, 최적 선형 근사로서의 미분, 미분 가능성과 연속성, 수치 미분의 한계
  • 미분 법칙과 테크닉 — 선형성·곱·몫·연쇄법칙, 역함수 미분과 변수 변환, 음함수 미분, 로그 미분과 score function
  • 평균값 정리와 테일러 전개 — MVT와 Lipschitz 통제, 테일러 정리와 잉여항, 필수 전개 5개, Big-O 표기
  • 다변수 미분 — 편미분, gradient와 최급상승, Jacobian과 행렬 연쇄법칙, Hessian, 행렬 미분 치트시트
  • 미분과 최적화, 자동미분 — 1차·2차 최적성 조건, 볼록성, 경사하강법의 수렴 증명, Newton법, forward/reverse 모드 자동미분과 역전파

이 시리즈의 관점​

  • 분포는 공리의 결과물 — 세 분포 모두 "어떤 요구조건을 만족하는 유일한(혹은 자연스러운) 답"으로 유도됩니다. 가우시안은 CLT와 최대 엔트로피, Beta는 켤레성과 순서통계량, 알파 안정은 안정성 공리의 결과입니다.
  • 도구는 특성함수 — 밀도함수가 닫힌형으로 존재하지 않는 분포(알파 안정)까지 다루려면 MGF가 아닌 특성함수가 기본 도구가 됩니다.
  • 꼬리(tail)를 관찰하라 — 세 분포의 결정적 차이는 꼬리의 두께입니다. 어떤 모멘트가 존재하는지가 실무 적용 가능성을 좌우합니다.
  • 미분은 선형 근사 — Calculus 시리즈는 미분을 "최적 선형 근사 찾기"로 정의하고, 그 관점 하나로 연쇄법칙 → 테일러 전개 → gradient/Jacobian/Hessian → 경사하강법과 역전파까지 일직선으로 연결합니다.
  • 두 시리즈는 만난다 — CLT 증명은 특성함수의 테일러 전개이고, Laplace 근사는 로그 밀도의 2차 전개가 가우시안을 낳는 순간이며, SGD는 LLN 위에 서 있습니다.