고차원 데이터 처리법 (High-Dimensional Data Analytics) #0 개요

1. 고차원 데이터와 빅데이터 소개

• 고차원 데이터: 많은 수의 속성(특징)을 가진 데이터셋
  • 예시: 신호 데이터, 이미지, 비디오, 설문 조사 데이터
  • 신호 데이터: 높은 샘플링 빈도로 측정되면 수천 개 이상의 데이터 포인트(차원)가 생김
  • 이미지: 각 픽셀이 차원으로 표현되며, 100만 개의 픽셀이 있으면 100만 차원의 데이터셋이 됨
  • 비디오: 이미지의 시퀀스로, 공간(이미지)과 시간(프레임) 정보를 포함
  • 설문조사: 사용자들이 여러 아이템을 평가하면, 아이템들이 차원이 됨
• 빅데이터 (Big Data): 다음 세 가지 특징으로 정의됨
  • Volume (크기): 매우 큰 데이터셋으로, 단일 머신에 저장하기 어려움
  • Velocity (속도): 실시간으로 매우 빠르게 생성 및 수집됨
  • Variety (다양성): 스칼라 값, 이미지, 텍스트, 비디오 등 다양한 형식의 데이터
• 빅데이터 처리 기술: MapReduce, Hadoop, Spark, 병렬 컴퓨팅 등

---

2. 표본 크기(n)와 차원(p)에 따른 분석 시나리오

	Small n (sample)	Large n (sample)
Small p (dimension)	전통적인 통계 기법으로 충분히 분석 가능	전통적인 통계 기법과 대표본 이론 적용 가능 But 계산 복잡도 증가
Small p (dimension)	고차원 통계 기법, 머신러닝 기법 필요 ➔ 고차원 데이터 분석 문제점 발생	Deep Learning Deep Neural Networks

 

---

3. 고차원 데이터 분석(High-Dimensional Analytics)에서의 어려움(Curse of Dimensionality)

1) Curse of Dimensionality (차원의 저주)

• 차원의 저주는 데이터의 차원이 증가할수록 분석이 기하급수적으로 어려워지는 현상을 의미함
• 예를 들어, 2차원 공간에서는 점들이 서로 상대적으로 가까이 분포하지만, 100차원 공간에서는 각 점들이 서로 멀리 떨어져 있음
• 고차원에서는 데이터가 공간 전체에 흩어지기 때문에, 모델이 학습할 수 있는 패턴을 찾기 어려움
• 예시:
  • 2차원 공간에서의 평균 거리는 0.5 ~ 0.7
  • 10차원 공간에서는 1.3 ~ 1.5
  • 100차원에서는 약 4
  • 1000차원에서는 12~13 정도로 증가

• 해결책: 저차원 학습(Low-dimensional Learning) 기법을 통해 차원을 축소하고, 중요한 특징만 남김

2) Computational Issue (계산적 문제)

 

$$ \frac{1}{\epsilon^p} $$

• ϵ: 최적해(Optimum)에 도달하기 위한 오차 허용 범위
• p: 데이터의 차원 수
• 최적화 문제에서, 모델이 최적해에 매우 근접하게 도달하려면 여러 번의 계산을 반복해야 함
• 고차원 데이터에서의 최적화 문제를 해결하기 위해서는 다음과 같은 문제가 발생함:
  • 차원이 클수록(High p), 계산 복잡도가 기하급수적으로 증가함
  • 예를 들어, p=10이고, ϵ=0.1 이라고 하면→ 100억 번의 계산이 필요함
• 즉, 차원이 1 증가할 때마다 계산량은 기하급수적으로 늘어남
• 이 때문에 고차원 데이터의 최적화는 현실적으로 매우 어려움

---

4. 저차원 학습(Low-Dimensional Learning) 기법

• 개념: 고차원 데이터가 실제로는 저차원 구조를 가질 수 있음
  • 고차원 공간의 중요한 정보들을 저차원 공간으로 압축하여 분석을 간단하게 함
• 장점: 분석 속도와 정확도를 높이고, 해석이 쉬워짐

주요 기법:
- Functional Data Analysis (FDA): Spline, Smoothing Splines, Kernels을 사용하여 특징 추출
- Tensor Analysis: Multilinear Algebra, Low Rank Tensor Decompositions
- Rank Deficient Methods:
   Functional Principal Component Analysis (FPCA)
   Robust PCA (RPCA)
   Matrix Completion

---

5. 회귀분석 (Regression) 복습

• 목표: 독립 변수 X와 종속 변수 y 사이의 함수 f(X)를 만들어 관계를 설명하고 예측하는 것
• 최소제곱법 (Least Square Method):
  • 관측된 값 y와 모델이 예측한 값의 차이를 제곱하여 최소화하는 방법
  • 최적화 문제: 모델의 오차(Residual Error) 제곱합을 최소화
• 모델 구조:
  y = Xβ + ϵ
  • y: 종속 변수 벡터 (관측값)
  • X: 독립 변수 행렬 (각 열이 하나의 변수)
  • β: 회귀 계수 벡터 (추정 대상)
  • ϵ: 오차 항 (노이즈, 임의 오차)
• X 행렬의 구조:
  • 첫 번째 열: 모두 1로 채워져 있음 (절편을 의미)
  • 두 번째 열: 첫 번째 변수 x1의 값들
  • 세 번째 열: 두 번째 변수 x2의 값들
• 계수 추정 공식
  최소제곱법을 이용한 계수 추정:

$$ \hat{\beta} = (X^T X)^{-1} X^T y$$

 

 

1) 기하학적 해석 (Geometric Interpretation)

• H 행렬 (Hat Matrix):
  • 회귀 분석에서 예측된 값은

$$ \hat{y} = X (X^T X)^{-1} X^T y = H y $$

• H 행렬: 예측값이 실제 값으로부터 투영(projection)된 공간을 정의
• 투영 해석:
  • y는 예측 공간에 투영된 값 y hat와 오차(Residual)로 나뉨
  • 투영된 값과 오차는 직교(Orthogonal) 관계
  • 내적이 0이기 때문에, y^T e = 0

2) OLS (Ordinary Least Squares) 추정기의 성질

• 불편 추정(Unbiased Estimator):
  • 추정값의 기대값이 실제 값과 동일

• 분산(Variance) 계산:

• n−p로 나누어 분산 추정
• Gauss-Markov 정리:
  • 선형 회귀 추정 중 OLS가 최소 분산을 가지며, 최적의 추정값임