(김채영) (강의노트 1장) 머신러닝 모델 훈련 및 선형 회귀 모델

[chae24hk]

머신러닝 모델 훈련에서, 충분치 않은 양의 훈련 데이터가 훈련에 어려움을 일으킨다고 강의 노트에서 설명하는 부분을 읽고 궁금한 점이 생겨 질문합니다.

앞서 언급한 부분의 단점을 가짐에도 불구하고 머신러닝이 현재까지도 많이 이용하는 것은 부족한 양의 데이터라는 단점을 가진 채로 이를 감안하고 사용하고 있는 것인지, 아니면 다른 보완 수단을 가지고 사용하고 있는 것인지 궁금합니다.

또한 강의노트의 예제 중, 선형 회귀 모델을 이용해 삶의 만족도를 예측하는데, 선형을 활용하는 이유가 특별히 있는지 궁금합니다. 비선형을 활용하면 좀 더 예측 정확도를 높일 수 있지 않을까 고민해보았으나 이러한 방법은 과대적합의 위험성이 커지기 때문에 선형성을 활용하고 있는 것일지 의문이 들어 질문합니다.

[liganega]

조금 더 알아보고 답을 직접 달아 보세요.

[chae24hk]

질문에 대해 학습한 결과를 아래와 같이 정리해보았습니다.

1. 데이터 부족 문제 극복을 위한 보완책
   데이터 양의 한계는 분명 존재하나, 이를 보완하기 위한 다양한 기술적 수단이 존재함을 확인했습니다.

• 데이터 증강(Data Augmentation): 기존의 데이터를 회전, 반전 등의 방법으로 변형하여 데이터의 절대적인 양을 확보합니다.
• 전이 학습(Transfer Learning): 대규모 데이터셋으로 미리 학습되어 있는 사전 학습 모델을 가져와 내 데이터에 맞춰 미세 조정하여 적은 양의 데이터로도 높은 성능을 냅니다.
• 규제(Regularization): 데이터가 적을 때, 모델이 훈련 데이터의 노이즈에 매몰되지 않도록 하기 위해 제약을 가하여 일반화 성능을 높입니다.
  위와 같이 여러 보완 수단을 이용해 데이터가 충분하지 않더라도 머신러닝을 널리 활용하고 있습니다.

2. 선형 모델의 채택 이유
   삶의 만족도 예제에서 선형 회귀를 사용한 이유를 크게 두 가지로 정리해보았습니다.

• 해석 가능성: 1인당 GDP가 삶의 만족도에 어느 정도의 영향을 주는지 직관적으로 파악하기 쉽다는 장점이 존재합니다.
• 과대적합 방지: 제가 예상했던 대로, 데이터가 충분하지 않은 상황에서 복잡한 비선형 모델을 사용하면 훈련 데이터의 노이즈까지 학습하는 과대적합의 위험이 큽니다. 강의노트 마지막(1.5.4. 과대적합)에서도 과대적합의 현상이 발생한 것은 데이터의 양이 충분하지 않았기 때문입니다.

결론적으로, 데이터의 양과 모델의 복잡도 사이의 균형을 고려할 때, 초기 단계나 적은 데이터의 양으로 학습하는 상황에서는 선형 모델이 더 적절한 예측 도구가 될 수 있다고 보았습니다. 이후 데이터가 충분히 확보 된다면 비선형 모델로 확장하여 성능을 향상시키는 것이 합리적이라고 생각합니다.

[liganega]

공부는 잘했는데 결론이 이상함. 특히 아래 문장.

결론적으로, 데이터의 양과 모델의 복잡도 사이의 균형을 고려할 때, 초기 단계나 적은 데이터의 양으로 학습하는 상황에서는 선형 모델이 더 적절한 예측 도구가 될 수 있다고 보았습니다