시뮬레이션 (Simulation) 관련 중요한 수학 개념 복습

1. Random Varibale (확률변수)

확률 변수는 확률 공간 (Ω,F,P)에서 정의된, 실수값을 갖는 함수

 

• 확률 변수는 “무작위적인 사건의 결과를 숫자값으로 매핑(mapping)”하는 **함수(Function)**입니다.
• 무작위성(randomness)은 표본공간 Ω에 존재하고, 우리는 이를 숫자로 바꾸어 통계적으로 다루기 쉽게 만듭니다.

 

 

적용 대상	이산형 확률 변수 (Discrete)	연속형 확률 변수 (Continuous)	둘다 (공통)
수식 표현	P(X=x)	fX(x)	FX(x)=P(X≤x)
의미	특정 값이 나올 직접적인 확률	특정 값 부근에 있을 밀도 (확률 아님)	특정 값 이하가 나올 누적 확률
확률 계산	직접 사용 가능	P(a≤X≤b)=∫abfX(x) dx	FX(b)−FX(a)
그래프 형태	막대그래프 (점만 존재)	곡선 (면적이 확률)	증가 곡선 또는 계단 함수
	pmf	pdf	cdf
최댓값	≤1	제한 없음 (밀도이므로)	항상 ≤1

 

2. LOTUS (Law of the Unconscious Statistician, 무의식적인 통계학자의 법칙)★

- 확률변수 RV X를 알고, X의 확률 분포 f(x)를 알 때, 확률변수 X의 변형 함수 g(x)의 분포를 몰라도 expected value 구할 때 사용

이산형:

$$ \mathbb{E}[g(X)] = \sum_x g(x) \cdot P(X = x) $$

연속형:

$$ \mathbb{E}[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x)\, dx $$

 

 

3. Moment Generating Function (mgf, 모멘트 생성 함수)

- 확률 변수의 모멘트(moment)를 생성해 주는 함수

- 즉, 𝑀𝑋(𝑡)를 t에 대해 미분하고 𝑡=0을 대입하면, 기댓값, 분산 등 고차 모멘트를 얻을 수 있음

1차 미분 → \( \mathbb{E}[X] = M_X'(0) \)

2차 미분 → \( \mathbb{E}[X^2] = M_X''(0) \)

분산 공식 → \( \mathrm{Var}(X) = \mathbb{E}[X^2] - (\mathbb{E}[X])^2 \)

 

 

4. Jointly Distributed Random Variables (공동 분포 확률 변수)
      & (Marginal Distribution (주변분포)

- 두 개 이상의 확률 변수가 동시에 발생하며, 이들 간의 결합적인 확률 구조를 고려

▶ 이산형 (Discrete)

1. 공동 확률 질량 함수 (Joint PMF)

\[ P(X = x, Y = y) = P_{X,Y}(x, y) \]

• 특정한 \( x \) 와 \( y \) 가 동시에 일어날 확률을 나타냄
• 모든 가능한 조합에 대해 전체 확률의 합은 반드시 1이어야 함

\[ \sum_x \sum_y P_{X,Y}(x, y) = 1 \]

2. 주변 확률 질량 함수 (Marginal PMF)

\[ P_X(x) = \sum_y P(X = x, Y = y) \]

\[ P_Y(y) = \sum_x P(X = x, Y = y) \]

---

▶ 연속형 (Continuous)

1. 공동 확률 밀도 함수 (Joint PDF)

\[ f_{X,Y}(x, y) \]

• 특정한 점 \( (x, y) \) 주변에서의 밀도를 나타냄
• 실제 확률을 구하려면 이중 적분을 수행해야 함

\[ P((X, Y) \in A) = \iint_A f_{X,Y}(x, y) \, dx \, dy \]

\[ \iint_{\mathbb{R}^2} f_{X,Y}(x, y) \, dx \, dy = 1 \]

2. 주변 확률 밀도 함수 (Marginal PDF)

\[ f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x, y) \, dy \]

\[ f_Y(y) = \int_{-\infty}^{\infty} f_{X,Y}(x, y) \, dx \]

 

 

5. Conditional Expectation (조건부 기대값)

 

▶ 이산형 (Discrete Case)

조건부 확률을 기반으로 \( Y \)의 평균을 계산:

\[ \mathbb{E}[Y \mid X = x] = \sum_y y \cdot P(Y = y \mid X = x) \]

▶ 연속형 (Continuous Case)

조건부 밀도 함수를 사용하여 \( Y \)의 기대값:

\[ \mathbb{E}[Y \mid X = x] = \int_{-\infty}^{\infty} y \cdot f_{Y \mid X}(y \mid x) \, dy \]

* 조건부 확률 밀도 함수의 정의

조건부 확률 밀도 함수는 다음과 같이 정의 (단, \( f_X(x) > 0 \)):

\[ f_{Y \mid X}(y \mid x) = \frac{f_{X,Y}(x, y)}{f_X(x)} \]

 

▶ 전체 기대값의 법칙 (Law of Total Expectation)

\[ \mathbb{E}[Y] = \mathbb{E} \left[ \mathbb{E}[Y \mid X] \right] \]

→ 조건부 기대값의 평균은 전체 기대값과 같음!

▶ 전체 분산의 법칙 (Law of Total Variance)

\[ \operatorname{Var}(Y) = \mathbb{E}[\operatorname{Var}(Y \mid X)] + \operatorname{Var}(\mathbb{E}[Y \mid X]) \]

 

 

 

6. Covariance 

\[ \operatorname{Cov}(X, Y) = \mathbb{E}[(X - \mathbb{E}[X]) (Y - \mathbb{E}[Y])] = \mathbb{E}[XY] - \mathbb{E}[X] \cdot \mathbb{E}[Y] \]

\[ \operatorname{Cov}(X, Y) > 0 \quad \text{: 두 변수는 같은 방향으로 움직임 (양의 상관)} \] \[ \operatorname{Cov}(X, Y) < 0 \quad \text{: 두 변수는 반대 방향으로 움직임 (음의 상관)} \]

 

 

7. Correlation

\[ \rho_{X,Y} = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X)} \cdot \sqrt{\operatorname{Var}(Y)}} \]

→ 공분산을 두 변수의 표준편차로 나눈 정규화 지표, 값은 항상 \(-1 \leq \rho \leq 1\)

\[ \rho = 1 \quad \text{: 완벽한 양의 상관} \] \[ \rho = -1 \quad \text{: 완벽한 음의 상관} \] \[ \rho = 0 \quad \text{: 선형 상관 없음 (비선형 관계는 있을 수 있음)} \]

 

 

8. Central Limit Theorem (CLT, 중심극한정리)★

- 데이터의 원래 분포가 어떤 모양이든 관계없이, 표본 평균은 충분히 큰 표본 수(n)에 대해 정규분포에 수렴

 

- 확률 변수 X1,X2,…,XnX1, X2,,,,, X_n​이:

• 서로 독립이고
• 동일한 분포를 따르며 (i.i.d.)
• 평균 μ, 분산 σ2을 가질 때,

\[ \bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i \]

\[ \frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1) \]

 

→ n→∞일 때, 표준 정규분포 N(0,1)에 수렴

---