(오혜성) (강의노트 1장) 선형 모델의 적절함 판단 기준 관련

[5comet]

1장 머신러닝 소개의 '삶의 만족도 예측' 부분에서 과대적합 문제로 인해 1인당 GDP가 23,500 달러 이하 또는 62,500 달러 이상인 경우인 나라들을 제외하고 모델 학습을 하였을 때와 모두 포함했을 때의 선형 모델이 상당히 다른 결과가 나왔습니다. 여기서 '제외한 기준에 정답이 있는 것일까?'라는 궁금증이 생겼습니다.

제외한 9개국 중에서 31개국 선형 모델 그래프와 동떨어져 있다고 생각하지 않은 3개국(남아프리카 공화국, 노르웨이, 스위스)를 추가해
34개국 선형 모델도 그려본 결과는 아래 그래프와 같습니다.

푸에르토리코의 행복 지수 예측은 위와 같이 나왔습니다.
저는 34개국 선형 모델도 1인당 GDP와 삶의 만족도 사이의 선형 관계가 적절한 것 같은데,
선형 모델의 적절함은 데이터 분석자 스스로 판단하는 것인지 다른 특별한 기준이 있는 것인지 궁금합니다.

[liganega]

좋은 질문인데, 조금 더 알아보고 답변을 올려주세요.

저는 34개국 선형 모델도 1인당 GDP와 삶의 만족도 사이의 선형 관계가 적절한 것 같은데,
선형 모델의 적절함은 데이터 분석자 스스로 판단하는 것인지 다른 특별한 기준이 있는 것인지 궁금합니다.

[5comet]

좋은 질문인데, 조금 더 알아보고 답변을 올려주세요.

저는 34개국 선형 모델도 1인당 GDP와 삶의 만족도 사이의 선형 관계가 적절한 것 같은데,
선형 모델의 적절함은 데이터 분석자 스스로 판단하는 것인지 다른 특별한 기준이 있는 것인지 궁금합니다.

선형 모델의 적절함을 판단하는 것은 모델이 데이터의 패턴을 얼마나 잘 학습했는지, 아니면 과대적합/과소적합되었는지를 판단하는 것과 같다고 생각했습니다.
찾아보니 그저 분석자의 생각으로만 적합성을 판단하기도 하고(선이 중심을 지나고 선 위아래로 비슷한 수의 점이 있는지 등),
그은 이 직선이 실제 데이터를 얼마나 잘 설명하는지 점수를 매기는 여러가지 모델 평가 방법이 있었습니다.

회귀모델의 적합성 판단 기준에서는 관측값과 예측값 사이의 거리인 잔차를 이용한 방법이 많았습니다.

• MAE(Mean Absolute Error, 평균 절대 오차) 는 모든 오차에 절댓값을 씌워 평균을 낸 값. 직관적이며 에러의 단위가 실제 데이터와 같으며, 이상치의 영향을 덜 받습니다.

• MSE(Mean Squared Error, 평균 제곱 오차) 는 오차를 제곱해서 평균을 낸 값. 오차를 제곱하기 때문에 큰 오차에 더 민감하게 반응합니다.

• RMSE(Root Mean Squared Error, 평균 제곱근 오차) 는 MSE에 루트를 씌운 값. MSE의 단점(제곱으로 인해 단위가 커짐)을 해결하여 실제 데이터와 단위를 맞춘, 회귀 평가에서 가장 대중적으로 사용됩니다.

잔차를 그래프에 그려 잔차 그래프를 분석하는 방법도 있었습니다.

(그림은 Gemini에게 부탁했습니다) 위의 그래프와 같이 잔차들이 특정 방향으로 쏠리지 않고, 균일하게 퍼져있으며, 독립적으로 분포해있을수록 이 모델이 적절하다고 판단할 수 있습니다.

마지막으로 결정계수(R^2, R-Squared) 로 판단하는 방법도 있었습니다.
결정계수는 세 가지 제곱합으로 구하는데,

• SST (Total Sum of Squares, 총 제곱합), 실제 값과 평균의 차이를 제곱한 것들의 합.
• SSE (Sum of Squared Errors, 잔차 제곱합), 실제 값과 모델이 예측한 값의 차이를 제곱한 것들의 합.
• SSR (Regression Sum of Squares, 회귀 제곱합), 평균 값과 모델이 예측한 값의 차이를 제곱한 것들의 합.

이 세 제곱합을 이용해 R^2 = SST/SSR = 1 - SST/SSE로 구할 수 있습니다.
전체 변동(SST)중 모델이 설명하는 변동(SSR)의 비율이라고 설명하는데 확 와닿지 않아서 Gemini에게 물어본 결과
"예를 들어 $R^2$ 값이 0.85라면, "이 모델은 종속 변수(결과)의 변동성 중 85%를 독립 변수(원인)로 설명할 수 있다" 는 뜻입니다."는 대답을 들으니 조금이나마 이해가 되었습니다.

R^2값은 0에서 1사이의 값을 가지고, 1에 가까울 수록 모델이 데이터를 잘 설명한다고 판단합니다.
하지만 쓰레기 데이터를 변수로 추가해도 R^2값이 상승한다는 단점과, 분야에 상대적이라는 단점이 있어 무조건적으로 신뢰할 수 없다고 하니 모델을 평가할 때 여러 평가 지표들을 사용해 비교해야 될 것 같습니다.