선형 회귀, 라쏘 회귀, 릿지 회귀

대표적인 회귀 알고리즘

알고리즘 이름	개념 요약	장점	단점
선형 회귀 (Linear Regression)	입력 변수와 출력 사이의 선형 관계를 가정	해석 쉬움, 빠름	비선형 문제에 부적합
릿지 회귀 (Ridge Regression)	선형 회귀 + L2 정규화	과적합 방지	해석 어려워질 수 있음
라쏘 회귀 (Lasso Regression)	선형 회귀 + L1 정규화	특성 선택 가능	과도한 특성 제거 가능성
의사결정나무 회귀 (Decision Tree Regression)	트리 구조로 데이터 분할	비선형 잘 표현	과적합 위험 높음
랜덤 포레스트 회귀 (Random Forest Regression)	여러 결정트리의 평균	성능 안정적	느릴 수 있음, 해석 어려움
KNN 회귀 (K-Nearest Neighbors)	주변 K개의 평균으로 예측	구현 단순	계산 느림, 고차원에 약함
인공신경망 회귀 (Neural Network Regression)	딥러닝 기반	복잡한 패턴 학습 가능	데이터 많아야 안정적
커널 회귀 (Kernel Regression)	커널 함수로 비선형 관계 반영	매우 유연	느림, 과적합 가능성 있음

선형 회귀

선형 회귀는 가장 기본적이고 널리 사용되는 회귀 알고리즘으로, 입력 변수(독립 변수) 와 출력 값(종속 변수) 사이의 선형 관계를 가정합니다.
$$
\hat{y} = w_1 x_1 + w_2 x_2 + \cdots + w_p x_p + b = Xw + b
$$

• $\hat{y}$ : 예측값
• $x_i$ : 입력 특성(feature)
• $w_i$​ : 각 특성의 회귀 계수
• $b$ : 절편 (bias, intercept)

라쏘 회귀

라쏘 회귀
Lasso 회귀는 선형 회귀에 L1 정규화 항을 추가한 회귀 알고리즘입니다. 주요 특징은 불필요한 특성(feature)의 계수를 0으로 만들어 자동으로 특성 선택(feature selection) 을 수행한다는 점입니다.
$$
\text{Loss} = \sum_{i=1}^n(y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^p |w_j|
$$

• $y_i$ : 실제값
• $\hat{y}$ : 예측값
• $w_j$ : 회귀 계수
• $λ$ : 정규화 강도 (조정 하이퍼파라미터)

라쏘 회귀 수식 예제
$$
\text{Loss} = \sum_{i=1}^{n}(y_i - \hat{y}_i)^2
$$

$$
+\lambda \sum_{j=1}^{p} |w_j|
$$
일반적인 선형 회귀에 L1 정규화 포함

$x_1$	$x_2$	$x_3$	$y$
1	2	0	5
2	1	0	6
3	3	0	9

$$
\hat{y} = 1 \cdot x_1 + 2 \cdot x_2 + \cancel{0 \cdot x_3}
$$
$$
w_3 = 0
$$
$x_3$ 의 영향이 적다면 $x_3$의 계수인 $w_3$을 0으로 만듬(예시)

릿지 회귀

릿지 회귀 (Ridge Regression)
릿지 회귀는 선형 회귀에 L2 정규화 항을 추가한 회귀 모델입니다. 과적합(overfitting)을 방지하고, 모델의 일반화 성능을 향상시키는 데 효과적입니다.
$$
\text{Loss} = \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^p w_j^2
$$

• $y_i$ : 실제값
• $\hat{y}$ : 예측값
• $w_j$ : 회귀 계수
• $λ$ : 정규화 강도 (조정 하이퍼파라미터)
• L2 정규화 항 : 계수의 제곱합(결과값에 영향을 크게 줌) → 크기가 큰 계수에 불이익 부여($λ$ 정규화 강도를 통해)

 

릿지 회귀 vs 일반 선형 회귀

항목	릿지 회귀 (L2)	라쏘 회귀 (L1)
정규화 항	$\sum w_j^2$	$\sum |w_{j}|$
계수 크기	작아짐 (0은 아님)	0으로 만들 수 있음
특성 선택	❌	✅
다중공선성 대응	우수	일부 제한적