(엄*은) (강의노트 1장) 나쁜 품질의 데이터 제거 vs 대표성 있는 데이터셋 유지의 딜레마

[jeom0313]

실습 코드와 강의 노트를 비교해 보며, 특정 9개 국가의 데이터를 포함했을 때 선형 회귀 모델의 예측선이 크게 요동치며 과대적합(Overfitting) 이 발생하는 것을 확인했습니다.

1장 '머신러닝의 주요 도전 과제' 파트를 보면, 모델 성능을 높이기 위해 에러나 이상치 같은 '나쁜 품질의 데이터' 는 정제(제거)해야 한다고 배웠습니다. 하지만 동시에 훈련 데이터가 전체를 잘 대변하지 못하는 '대표성 없는 데이터' 가 되어서도 안 된다고 이해했습니다.

만약 예측선을 크게 틀어버리는 9개 국가 같은 데이터가 발견되었을 때, 이것을 무조건 '나쁜 품질의 데이터'로 보고 제거해버리면 오히려 전체 국가를 대변하지 못하는 '대표성 없는 데이터셋'이 되어버리는 것은 아닌지 이 부분이 좀 헷갈렸습니다.

1장에서 설명하는 기본 원칙상, 이런 경우 데이터를 과감히 제외하는 것과 원본 데이터를 최대한 유지하는 것 중 어느 쪽에 더 무게를 두어야 하는지 궁금합니다.

[liganega]

1. 아래 내용이 강의노트에 없는데 어디서 본 내용인가요?

1장 '머신러닝의 주요 도전 과제' 파트를 보면, 모델 성능을 높이기 위해 에러나 이상치 같은 '나쁜 품질의 데이터' 는 정제(제거)해야 한다고 배웠습니다. 하지만 동시에 훈련 데이터가 전체를 잘 대변하지 못하는 '대표성 없는 데이터' 가 되어서도 안 된다고 이해했습니다.

2. 아랫 부분은 잘못 이해했어요.

만약 예측선을 크게 틀어버리는 9개 국가 같은 데이터가 발견되었을 때, 이것을 무조건 '나쁜 품질의 데이터'로 보고 제거해버리면 오히려 전체 국가를 대변하지 못하는 '대표성 없는 데이터셋'이 되어버리는 것은 아닌지 이 부분이 좀 헷갈렸습니다.

[jeom0313]

강의노트에서 '저품질 훈련 데이터'가 머신러닝 알고리즘에 나쁜 영향을 미친다는 부분을 읽었고, 실습에서 9개 국가를 제외했을 때 모델 결과가 크게 달라지는 것을 보면서 '그러면 이런 데이터를 제거하면 데이터 양이 줄어드는 건 괜찮은 건가?'라는 의문이 들어서 작성하였습니다. 강의노트 내용을 제 나름대로 해석하다 보니 마치 배운 것처럼 적어버렸습니다. 죄송합니다.

[liganega]

1. 죄송할 필요는 전혀 없음. 보다 좋은 질문과 보다 좋은 답변을 위한 과정임.
2. 실습에서 처음에 제외한 9개 국가는 나쁜 영향을 주기 때문에 삭제 한 게 아님. 다시 찬찬히 읽어 보세요.

[jeom0313]

다시 읽어보니 강의노트에서 9개 국가를 제외한 것은 저품질 데이터여서가 아니라, 과대적합 문제를 설명하기 위해 고의로 제외한 것이었습니다. 제가 '저품질 데이터의 제거'와 '과대적합 설명을 위한 데이터 제외'를 혼동해서 질문을 작성했습니다. 감사합니다