#1 함수형 데이터 분석 (Functional Data Analysis, FDA) - Splines (스플라인) 보간법

데이터 분석에서 두 변수 사이의 관계를 예측할 때, 가장 먼저 떠오르는 방법 중 하나가 선형 회귀(Linear Regression)입니다. 그러나 현실 세계의 데이터는 직선으로 깔끔하게 표현되지 않는 경우가 많습니다. 예를 들어, 주식의 변동, 환자의 병세 변화, 온도의 계절적 변화처럼 시간에 따라 곡선 형태로 움직이는 패턴이 많습니다. 이러한 비선형 관계를 설명하기 위해 우리는 다항식 회귀(Polynomial Regression)를 사용합니다.

 

다항식 회귀는 독립 변수의 차수를 높여 곡선 형태를 모델링할 수 있습니다. 예를 들어, 2차 다항식은 포물선 형태를, 3차 다항식은 S자 형태를 잘 표현합니다. 그러나 차수를 높일수록 예기치 않은 문제가 발생합니다. 모델이 데이터를 지나치게 정확히 따라가면서 경계 부분에서 심한 진동이 생기고, 훈련 데이터에는 잘 맞지만 새로운 데이터에는 오차가 커지는 과적합(Overfitting) 문제가 나타납니다.

 

이러한 문제를 해결하기 위해 등장한 방법이 바로 스플라인 회귀(Spline Regression)입니다. 스플라인은 전체 구간을 여러 개의 작은 구간으로 나누어, 각 구간에서 저차 다항식을 사용해 모델링합니다. 이렇게 나뉜 구간들은 매끄럽게 이어져 마치 하나의 곡선처럼 보이게 되죠. 이를 통해 다항식 회귀에서 나타나는 경계 진동 문제를 극복하고, 복잡한 곡선도 자연스럽게 표현할 수 있습니다.

 

함수형 데이터 분석 (Functional Data Analysis, FDA) 이란?
정의: 시간 또는 공간에 따른 변동성을 함수 형태로 표현한 데이터
예시:시간 기반 신호: 시간에 따른 전력 변화
    - 멀티채널 신호: EEG(뇌파) 신호, 여러 센서로 측정된 값들
    - 이미지: 픽셀 값이 위치에 따른 함수로 표현됨
    - 3D 포인트 클라우드: 3차원 공간에서의 위치 정보

---

1. 스플라인(Splines)

• 스플라인(Spline):
  • 조각별 다항 회귀(Piecewise Polynomial Regression)를 활용하여, X의 구간을 나누고 각 구간마다 별도로 회귀 모델을 적용하는 방식
  • 구간 간의 연속성(Continuity)을 유지하며, 각 구간을 매끄럽게 연결
  • 복잡한 데이터의 지역적(local) 변화를 잘 반영함
• 노드(Knots):
  • X의 범위를 여러 개의 구간으로 나누는 기준점
  • 예를 들어, X가 [a, b] 범위에 있다면 K개의 노드를 설정해 여러 개의 조각으로 분할
  • 각 조각에서는 개별적인 다항 회귀가 적용됨

---

2. 다항 회귀(Polynomial Regression)와의 비교

• 다항 회귀:
  • 글로벌(Global)한 회귀 모델을 통해 전체 데이터에 대해 하나의 다항식을 적용
  • 복잡한 데이터에 대해 과적합(Overfitting) 혹은 부족한 표현력(Underfitting) 문제 발생
  • Outlier 데이터에 민감하게 반응
• 스플라인 회귀:
  • 데이터를 여러 구간으로 나누어 지역적(Local)으로 다항식을 피팅
  • 각 구간별로 0차, 1차, 2차, 3차 등 다양한 차수의 다항식을 적용 가능
  • 구간 사이를 부드럽게 연결해 복잡한 패턴을 효과적으로 표현

다항 회귀 (Polynomial Regression)	스플라인 회귀 (Spline Regression)
전체 데이터를 하나의 곡선으로 표현	데이터를 여러 조각으로 나누어 표현
과적합(Overfitting) 위험이 높음	지역적으로 조절하므로 과적합 방지
Outlier 데이터에 민감함	지역별로 처리하므로 Outlier의 영향 적음

 

---

3.  스플라인의 구조

1) 0차 다항식 (Piecewise Constant Spline)

• 단순히 구간마다 상수값을 예측하는 방식
• 노드로 나누어진 각 구간에 대해 Indicator Function을 사용하여 값을 결정
• 예를 들어, x < 1일 때 1, 그렇지 않으면 0으로 표시

2) 1차 다항식 (Piecewise Linear Spline)

• 각 구간을 1차 함수(직선)으로 모델링
• 구간 간의 연결에서 불연속성이 발생할 수 있음
• 연속성 제약(Continuity Constraint)을 추가하여 매끄럽게 연결

3) 2차 및 3차 다항식 (Piecewise Quadratic & Cubic Spline)

• 더 높은 차수의 다항식 적용
• 연속성 + 미분 가능성(Smoothness)을 추가하여 더욱 자연스러운 곡선 생성
• 예를 들어, 3차 스플라인(Cubic Spline)은 1차 및 2차 미분이 모두 연속적이어야 함

예시

---

4. Order-M Splines란?

• Order-M Splines은 M차 다항식(Piecewise Polynomial)을 여러 조각으로 나누어 모델링하는 방법
• 여기서 M이 다항식의 차수(Polynomial Order)를 의미

M=1	Piecewise Constant Spline	구간마다 상수 값 (계단형 모양)
M=2	Linear Spline	구간마다 1차 함수 (직선)
M=3	Quadratic Spline	구간마다 2차 함수 (포물선)
M=4	Cubic Spline	구간마다 3차 함수 (부드러운 곡선)

Truncated Power Basis는 노드(Knots)를 기준으로 함수가 "잘려서" 값이 변하는 방식

---

5. 매끄러움(Smoothness) 조정

• 문제:
  • 스플라인이 구간별로 나뉘어 있다 보니 부드럽게 이어지지 않을 수 있음
• 해결 방법:
  • 각 노드에서 연속성(Continuity)과 미분 가능성(Smoothness)을 보장
  • 3차 스플라인의 경우 1차 및 2차 미분이 연결된 모든 구간에서 연속적이어야 함

---

6. 자유도(Degrees of Freedom, DoF) 계산

• 스플라인의 자유도는 다음 식으로 계산

$$ df = (\text{# of regions}) \cdot (\text{# of parameters in each region}) - (\text{# of knots}) \cdot (\text{# of constraints per knot}) $$

---

7. 노드 선택 (Knot Selection)

• 방법:
  • Quantiles: 데이터를 구간별로 나누어 균등하게 분포
    - 데이터를 같은 비율로 나눈 값
    - 예를 들어, 25% 지점, 50% 지점(중간값), 75% 지점에 노드를 설정할 수 있음
  • 최적화 접근: 모델 성능을 최적화할 수 있는 위치를 학습
• 영향:
  • 노드의 개수와 위치에 따라 모델의 표현력과 과적합이 결정됨

---

8. Estimation

 

Well-posed - Hadamard는 다음 세 가지 조건을 만족 
1. 해(解)가 존재해야 한다 (Existence):문제를 풀었을 때 해가 실제로 존재해야 함.
2. 해가 유일해야 한다 (Uniqueness):해가 여러 개가 아니라 정확히 하나만 존재해야 함.
3. 해가 입력 데이터에 대해 연속적이어야 한다 (Stability):입력 값이 살짝 변해도 해가 크게 달라지지 않아야 함.
*Ill-posed는 수학적 또는 최적화 문제에서 해결이 어렵거나 불안정한 문제를 의미 (위의 3가지 조건 중 하나라도 만족 못할 경우)

 

 

 

*스플라인(Spline)의 종류별 비교: 제약 조건(Constraints)과 자유도(Degrees of Freedom, df)

1) 목적에 따른 분류:

 

2) 제약 조건에 따른 분류:

 

3) 자유도 계산:

---

 

 

Reference

Hastie, T., Tibshirani, R., and Friedman, J., (2009) The Elements of Statistical Learning. Springer Series in Statistics Springer New York Inc., New York, NY, USA.