[Machine Learning] Bias & Variance

ML에 대한 일반적 정의

 

Model class를 선택한 후, 학습데이터에 대해 모델이 잘 동작하도록 파라미터를 결정해야 함.

잘 동작하려면 손실함수를 설정해야 한다. 여기서 손실함수란 모델의 예측값과 정답 값이 틀릴 수록 큰 값을 주는 함수를 말한다.

squared loss란 예측값과 정답값이 틀릴 수록 2차의 함수로 패널티 주는 손실 함수를 말하며, 이를 정의할 수 있다.

classification이란 이진 분류로 loss를 결정하는 것으로, 맞으면 0, 틀리면 1을 준다.

이렇게 loss funcion을 결정하면 최적화 문제로 결정 가능.

최종적으로 손실을 최소화하는 w, b를 찾고 일반화하는 것이 목표이다.

 

일반화

 

사소한 오류에 과하게 적합하게 되면 오버피팅이 남. 일반화가 되지 않는다는 것이다. 그러면 어떻게 일반화를 할 수 있을까?

첫번째 목표 = overfitting을 내는 것

이를 통해 언제 제일 잘 되는지, 언제 Error가 제일 줄어드는 지를 알 수 있음. 이후 Validation이나 Test error을 낮추는 과정으로 기계학습이 진행된다.

 

모델의 용량.

 

모델의 용량은 적절해야 함. 용량이 너무 크면, 즉 차수가 너무 크면 데이터가 없는 부분에서 굴곡, 업다운이 심한 모습을 볼 수 있음. 

좀 더 작은 차수의 모델을 사용하면 데이터 없는 구간이 부드럽게 변함. 간단한 모델을 선택하는 것이 굴곡이 심하지 않을 확률이 높다.

모델의 용량이 늘어나면 학습 에러는 무조건 더욱 낮아진다. 그러나 일반화 오류를 줄이기 위해서는 적절한 용량을 찾아야 함. 

교차 검증을 해서 학습 오차를 예측해 봄으로써 적절한 용량을 찾을 수 있다.

 

정규화

 

목적함수는 주로 학습데이터에 대한 오차가 최소화되도록 정의. 하이퍼파라미터는 우리가 지정하는 것. 하이퍼파라미터인 람다를 작게 주면 첫번째 term을 더 중요하게 여기고, 람다를 크게 주면 두번째 term을 더 중요하게 여긴다. 튜닝 파라미터는 교차검증을 통해 결정한다. 정규화의 목표는 이를 추가함으로써 일반화 오류를 줄이는 것이다. 

 

예를 들어 9차수 함수여도 람다를 크게 주면 선형함수가 될 수 있고, 적절하게 주면 smooth해지고, 람다를 작게 주면 오버피팅이 날 수 있음. 이렇게 적절하게 주는 것이 중요함.