딥러닝의 성능향상을 위해 고려하는 하이퍼파라미터의 종류에는 어떤 것들이 있는지 설명

1. 학습률(Learning Rate) : 파라미너 업데이트의 크기를 조절하며 너무 크면 발산하고 너무 작으면 학습이 느려짐.

 

2. 미니 배치 크기(Mini-batch Size) : 한 번에 학습하는 데이터 샘플 수로 메모리 사용량과 학습 안정성에 영향을 줌.

 

3. 은닉층 및 뉴런 수 : 네트워크의 깊이(층 수)와 각 층의 뉴런 수는 모델의 표현력을 결정함.

 

4. 에포크 수(Epochs) : 전체 데이터를 몇 번 반복 학습할지 정하며 과적합 방지와 직결됨.

 

5. 가중치 초기화(Weight Initialization) : 초기값 설정에 따라  학습 속도와 성능이 크게 달라질 수 있음.

 

6. 정규화 파라미터(Regularization) : L1, L2, 드롭아웃 등 과적합 방지를 위한 규제 강도 설정.

 

7. 최적화 알고리즘 및 관련 파라미터 : Adam 옵티마이저의 베타1, 베타2, 입실론 등은 학습 안정성과 속도에 영향을 줌.

 

8. 손실 함수(Cost/Loss Function) : 모델이 학습 과정에서 최소화하려는 목표 함수로 문제 유형에 따라 선택함.

 

9. 조기 종료(Early Stopping) : 검증 성능이 더 이상 향상되지 않을 때 학습을 멈추는 기준.