하이퍼 파라미터

하이퍼 파라미터를 알아보기전에 모델 파라미터의 정의를 알아보자면

학습 과정에서 모델이 직접 학습해서 값이 정해지는 변수다. 일반적으로 모델한터 먹이는 값

선형 회귀에서 가중치 w나 편향 b같은 값이다 데이터와 손실 함수를 기준으로 경사하강법 같은 최저고하 과정으로 업데이트도 된다.

예를들어 1시간 공부하면 20점 2시간 공부하면 30점과 같은 변수가 모델 파라미터

하이퍼 파라미터 #

모델 외부에서 사람이 직접 지정해주는 값으로 모델이 스스로 학습할 수 없는 값을 의미한다.

학습률 (가중치 업데이트 크기), 한번에 학습하는 배치크기, 전체 데이터를 몇 번 반복 학습할지에 대한 epochs

은닉층, 뉴런 수 (신경망에선), 과적합 방지를 위한 정규화 계수나 optimizer 과 같은 값들이 하이퍼 파라미터다.

모델 파라미터랑 차이점은 모델이 스스로 학습할 수 없으며 외부에서 결정하는 방법이다.

그리디나 랜덤 bayesian optimization같은 기법으로 최적값을 찾는다.

하이퍼 파라미터 튜닝 전략은 작은값으로, 로그스 케일 탐색으로 교차 검증등으로 성능을 확인해 조정하면 좋다.