하이퍼파라미터 튜닝 (hyperparameter tuning)
쉽게 풀면
요리를 할 때 재료의 양은 레시피를 따라가며 조절하지만, "오븐 온도를 몇 도로 할지", "몇 분 동안 구울지"는 요리를 시작하기 전에 미리 정해야 합니다. 하이퍼파라미터도 마찬가지입니다. 머신러닝 모델은 데이터를 보면서 내부 값(가중치)은 스스로 조정하지만, "한 번에 얼마나 크게 배울지(학습률)", "한 번에 몇 개의 데이터를 볼지(배치 크기)", "층을 몇 개로 쌓을지" 같은 값은 사람이 미리 정해줘야 합니다. 이 값들의 조합을 이것저것 바꿔가며 가장 성능이 좋은 조합을 찾는 작업이 하이퍼파라미터 튜닝입니다.
왜 중요한가
같은 모델 구조라도 하이퍼파라미터 설정에 따라 성능이 크게 달라질 수 있기 때문에, 하이퍼파라미터 튜닝은 딥러닝·머신러닝 연구에서 모델 아키텍처 설계만큼이나 중요하게 다뤄집니다. 특히 대규모 모델일수록 튜닝에 드는 계산 비용이 커서, 효율적인 탐색 전략을 찾는 것 자체가 하나의 연구주제(AutoML, 신경망 구조 탐색 등)로 발전해 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 "여러 설정값 조합을 실제로 하나씩 시도해보고, 검증 데이터에서 가장 좋은 성능을 낸 조합을 최종 모델에 사용했다"는 뜻입니다.
이 예문은 그리드 서치보다 시행 횟수를 줄이면서도 좋은 조합을 찾을 수 있는 베이지안 최적화 기법이 트리 기반 모델 튜닝에도 활용된다는 점을 보여줍니다.
이 문장은 강화학습 분야에서도 하이퍼파라미터 튜닝이 필요하며, 탐색 방법에 따라 효율이 달라진다는 점을 보여줍니다.
조금 더 깊게 보면
하이퍼파라미터 탐색 방법에는 모든 조합을 시도하는 그리드 서치, 무작위로 조합을 시도하는 랜덤 서치, 이전 시도의 결과를 바탕으로 다음 시도를 더 똑똑하게 선택하는 베이지안 최적화 등이 있으며, 탐색 공간이 넓을수록 후자의 효율이 높아지는 경향이 있습니다. 최근에는 조기 종료(early stopping)와 결합해 성능이 낮을 것으로 예상되는 조합을 일찍 중단시키는 방식(예: 하이퍼밴드)도 널리 쓰입니다. 논문에서 튜닝 결과를 볼 때는 어떤 탐색 방법과 탐색 범위를 사용했는지, 그리고 검증 데이터로 선택한 최적 조합이 테스트 데이터에서도 일관되게 좋은 성능을 보였는지 함께 확인하는 것이 좋습니다.
주의할 점
하이퍼파라미터를 테스트 데이터에 맞춰 조정하면 안 됩니다. 반드시 별도의 검증 데이터(validation set)로 튜닝하고 테스트 데이터는 마지막 평가에만 사용해야 하는데, 이를 지키지 않으면 과적합과 비슷하게 모델의 실제 성능이 과대평가됩니다. 또한 교차검증과 함께 사용하면 더 안정적인 튜닝 결과를 얻을 수 있습니다.