(최*현) (강의노트 1장) 선형 회귀 모델의 한계와 과대적합

[ch101634]

1장 머신러닝 소개에서는 주요 국가별 1인당 GDP와 삶의 만족도 데이터를 이용해 선형 회귀 모델을 학습하는 예시를 들고 있습니다.

특히, 9개 국가 데이터를 제외한 경우와 전체 데이터를 사용한 경우를 비교하며, 훈련 데이터의 구성에 따라 결과가 크게 달라지는 점과 과대적합 문제를 설명하고 있습니다.

이를 통해 본문에서는 1인당 GDP와 삶의 만족도의 관계를 설명하는 데 선형 회귀가 적절하지 않을 수 있다고 판단하는데, 그럼 선형 회귀 모델은 어떤 상황에서 주로 사용하는지, 실습 코드에서 사용한 릿지 회귀 모델은 일반적인 선형 회귀 모델과 어떠한 차이가 있는지 궁금합니다.

또한 같은 학습 방법과 모델을 사용할 때 학습 데이터 수가 증가하면 일반적으로 과대적합이 완화되는지도 알고 싶습니다.

[liganega]

조금 더 알아보고 답을 직접 달아 보세요.

[ch101634]

(최*현)
선형 회귀 모델은 입력 변수와 결과 간의 관계가 대체로 직선적으로 나타나는 경우에 사용합니다.

예측식은 $\hat{y} = \theta_0 + \theta_1 x_1$형태입니다.

모델 구조가 단순하고 결과를 해석하기 쉬워서, 단순한 예측이나 변수 사이의 관계를 이해할 때 주로 활용됩니다. 예를 들어 집의 면적과 가격의 관계처럼, 한 변수가 증가하면 다른 변수도 일정한 방향으로 변하는 경우에 적합합니다.
본문에서 다룬 1인당 GDP와 삶의 만족도의 경우, 단순한 직선만으로 설명이 어려울 수 있으며, 일부 데이터의 포함 여부에 따라 결과가 크게 달라지기도 하므로 일반적인 선형 회귀 모델은 적합하지 않을 수 있습니다.

릿지 회귀 모델은 선형 회귀 모델의 일종이지만, 일반적인 선형 회귀와 달리 규제가 추가된 모델입니다.

일반적인 선형 회귀는 데이터에 가장 잘 맞는 직선을 찾는데 집중합니다. 이때 모델의 예측값과 실제값의 차이를 전체적으로 나타낸 값을 오차라고 하며, 오차를 바탕으로 모델이 얼마나 잘 맞는지를 수치로 나타낸 함수를 비용함수라고 합니다. 선형 회귀는 이 비용함수($J$)를 최소화하는 방향으로 학습합니다.

릿지 회귀는 여기에 더해 $\theta_1$의 크기가 너무 커지지 않도록 제약을 줍니다.
$$J(\theta_0,\theta_1)=\frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)}-y^{(i)}\right)^2+\alpha\theta_1^2$$ ($m$은 학습 데이터 개수, $\hat{y}$는 예측값, $y$는 실제값, $\alpha$는 규제의 강도)

와 같이 규제항($\alpha\theta_1^2$)을 추가하여 계수($\theta_1$)가 지나치게 커지는 것을 방지합니다. 이렇게 하면 특정 데이터에 지나치게 민감하게 반응하는 것을 줄일 수 있어, 과대적합을 완화할 수 있습니다.

같은 학습 방법과 모델을 사용한다면, 일반적으로 학습 데이터의 수가 증가할수록 과대적합이 완화되는 경향을 보입니다.

본문 예시에서도 제외했던 9개 국가를 포함하여 더 많은 데이터를 사용한 경우, GDP 23,500달러 미만 구간과 62,500달러 초과 구간의 정보가 함께 반영되어 전체적인 경향을 더 폭넓게 반영할 수 있습니다.
다만, 데이터 수가 많아졌다고 해서 항상 문제가 해결되는 것은 아닙니다. 본문 예시처럼 일부 국가를 넣고 빼는 것만으로 결과가 크게 달라진다는 것 자체가 데이터의 절대적인 수뿐 아니라 학습에 사용하는 데이터의 분포와 품질 또한 중요하다는 것을 시사합니다.