estudy 한국어/English

회귀 모델 성능 평가 지표

1,343 단어·3 분·원문(.md)

regression model을 평가할때는 주로 MAE, MSE, RMSE, MAPE 등을 사용하는데 오늘은 이걸 알아볼거다.

MAE(Mean Absolute Error) = 평균 절대 오차 #

실제 정답 값과 예측값의 차이를 절댓값으로 합산하여 평균을 구한다.

특이 값이 많은 경우에 주로 사용된다. (각 값들의 차이가 작아지므로)

값이 낮을수록 좋은거다. (낮을수록 오차범위가 적다는 뜻)

MAE=∑∣y−y^∣n MAE = \frac{\sum |y - \hat{y}|}{n}

장점

  • 직관적이며 정답 및 예측 값과 같은 단위를 가진다

단점

  • 실제 정답보다 낮게 예측했는지, 높게 예측했는지를 파악하기가 힘들다
  • 스케일 의존적이다. 모델마다 에류크기가 동일해도 에러율은 동일하지 않는다

MSE(Mean Squared Error) = 평균 제곱 오차 #

실제 정답 값과 예측 값의 차이를 제곱한 뒤 평균을 구한다.

값이 낮을 수록 좋다. 장점은 직관적인거 하나인듯

MSE=1n∑i=1n(yi−y^i)2 MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

장점

  • 직관적이다.

단점

  • 제곱하기 때문에 1미만의 에러는 작아지고, 그 이상의 에러는 커진다.
  • 실제 정답보다 낮게 예측했는지 높게 했는지 파악이 힘들다
  • 스케일 의존적이다. 모델마다 에류크기가 동일해도 에러율은 동일하지 않는다

RMSE(Root Mean Squared Error) = 평균 제곱근 오차 #

MSE에서 루트를 씌워 에러를 제곱해서 생기는 값의 왜곡이 줄어든다. 값이 낮을수록 좋음.

RMSE=1n∑i=1n(yi−y^i)2 RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}

장점

  • 직관적이다.

단점

  • 제곱하기 때문에 1미만의 에러는 작아지고 그 이상의 에러는 커지는건 똑같다.
  • 실제 정답보다 낮게 예측했는지 높게 예측했는지 파악하기 힘들다
  • 스케일 의존적. (이하 내용은 같)

MAPE (Mean Absolute Percentage Error) = 평균 절대 비율 오차 #

MAE를 비율, 퍼센트로 표현하여 스케일 의존적인 문제점을 개선한다.

값이 낮을수록 좋다.

MAPE=100n∑i=1n∣yi−y^iyi∣ MAPE = \frac{100}{n} \sum_{i=1}^{n} \left| \frac{y_i - \hat{y}_i}{y_i} \right|

장점

  • 직관적이고 다른 모델과 에러율 비교가 쉽다

단점

  • 실제 정답보다 낮게 예측했는지 높게 예측했는지 파악이 힘들다
  • 실제 정답이 1보다 작을 경우 무한대의 값으로 수렴할수도 있다.

MAE, MSE, RMSE 같은 지표들이 스케일 의존적(scale-dependent) 이라는 말은, 데이터의 단위(스케일) 에 따라서 지표 값 자체가 같이 커지거나 작아진다는 뜻 예를들어 오차가 500이 나왔는데 만원 단위(스케일)이라면? 오차가 500만원인지 500인지 파악하기가 이 값만 보고는 알기어려움

이외에도 MPE, R2 Score가 더 존재하는데 알아보자

MPE(Mean Percentage Error) #

MAPE에서 절대값을 제외함. 모델이 underperformance, overperformance인지 판단가능함 음수면 over. 양수면 under

MPE=100n∑i=1nyi−y^iyi MPE = \frac{100}{n} \sum_{i=1}^{n} \frac{y_i - \hat{y}_i}{y_i}

R2 Score = R squared #

MAE MSE RMSE 들은 모델마다 값이 달라 절대 값만 보고 성능을 판단하기는 어려운데

R2 Score는 상대적인 성능을 나타내기 비교가 쉽다. 실제 값의 분산 대비 예측값의 분산 비율을 의미하고 1에 가까울수록 좋다

R2=1−SSESST R^2 = 1 - \frac{SSE}{SST}
SSE=1n∑i=1n(yi−y^i)2=MSE SSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = MSE
SST=1n∑i=1n(yi−yˉ)2 SST = \frac{1}{n} \sum_{i=1}^{n} (y_i - \bar{y})^2
AI/mae.md