01. 수학 표기법 — 최적화 언어의 최소 문법

// BACKGROUND 1/6 — set, interval, vector, function, mapping, summation, norm을 같은 방식으로 읽기

최적화 문서는 기호가 많아서 어렵게 보입니다. 하지만 대부분은 “가능한 값의 모음”, “입력을 출력으로 보내는 규칙”, “여러 항을 더하는 방식”, “크기를 재는 방식”을 짧게 쓴 것입니다.

Set과 interval

집합은 원소들의 모음입니다. 예를 들어 $x \in S$ 는 “ $x$ 가 집합 $S$ 의 원소”라는 뜻입니다. 최적화에서는 가능한 후보 전체를 집합으로 표현합니다.

구간은 실수 집합의 연속된 조각입니다.

최적화의 feasible region은 보통 이런 집합 표기로 씁니다.

\mathcal{F}=\{x\in\mathbb{R}^n \mid g_i(x)\le 0,\ h_j(x)=0\}.

여기서 $\mathcal{F}$ 는 “모든 제약을 만족하는 후보의 집합”입니다.

벡터는 여러 숫자를 한 번에 묶은 결정입니다.

x = (x_1,x_2,\dots,x_n)^\top \in \mathbb{R}^n.

최적화에서 $x$ 는 대개 decision variable입니다. 예를 들어 공장 설계라면 $x_1$ 은 길이, $x_2$ 는 두께, $x_3$ 은 유량일 수 있습니다.

:::tip 기억할 문장 스칼라 하나를 고르는 문제는 선 위에서 찾는 문제이고, 벡터를 고르는 문제는 공간 안에서 한 점을 찾는 문제입니다. :::

함수는 입력을 출력으로 보내는 규칙입니다.

f:\mathbb{R}^n\to\mathbb{R}

는 $n$ 차원 벡터를 숫자 하나로 보내는 함수입니다. 목적함수는 보통 이런 형태입니다.

\min_{x\in\mathbb{R}^n} f(x).

반대로 $F:\mathbb{R}^n\to\mathbb{R}^m$ 은 입력 벡터를 출력 벡터로 보냅니다. 여러 개의 제약이나 시뮬레이션 출력은 벡터값 함수로 보는 것이 자연스럽습니다.

합 기호는 반복되는 더하기를 압축합니다.

\sum_{i=1}^{n} x_i = x_1+x_2+\cdots+x_n.

회귀 문제의 평균제곱오차는 보통 이렇게 씁니다.

\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2.

읽는 법은 단순합니다. $i=1$ 부터 $n$ 까지 바꿔 넣고 전부 더합니다.

norm은 벡터의 크기를 재는 함수입니다. 가장 자주 쓰는 것은 Euclidean norm입니다.

\|x\|_2=\sqrt{x_1^2+x_2^2+\cdots+x_n^2}.

최적화에서는 “얼마나 움직였는가”, “오차가 얼마나 큰가”, “gradient가 충분히 작아졌는가”를 norm으로 판단합니다.

아래 식을 보세요.

\min_{x\in\mathbb{R}^n} f(x)\quad\text{subject to}\quad Ax\le b.

읽으면 다음과 같습니다.