기초 개념 · Hyperparameter중급갱신일 2026. 10. 1.
하이퍼파라미터
학습 전 사람이 정하는 설정(학습률·배치 크기 등)으로, 가중치와는 별개입니다.
비유
오ven 온도·시간은 ‘레시피 설정’이고, 반죽 속 재료 비율이 ‘학습으로 바뀌는 값’과 비슷하게 구분됩니다.
이렇게 이해하세요
하이퍼파라미터(Hyperparameter)는 epoch 수, learning rate, batch size, LoRA rank, temperature(추론 시)처럼 학습·추론 전에 고정하거나 튜닝하는 knob입니다. 모델 가중치(파라미터)와 달리 역전파로 자동 학습되지 않습니다. 잘못 고르면 학습이 느리거나, 과적합·발산·비용 폭증이 납니다. API 사용자는 temperature·max tokens·top_p를 ‘추론 하이퍼파라미터’로 경험합니다. 팀 도입 시 ‘프롬프트’와 ‘하이퍼파라미터’를 버전 관리하면 재현성이 올라갑니다.
한 줄 암기
하이퍼 = 사람이 돌리는 학습·추론 knob
좋은 예
프로덕션 프롬프트 v3와 함께 temperature=0.2, max_tokens=800 설정을 문서화한다.
피하기
데모에서 우연히 좋았던 temperature를 기록 없이 운영에 그대로 쓴다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
temperature도 하이퍼파라미터인가요?
추론(inference) 설정으로 보는 경우가 많습니다. 학습 하이퍼파라미터와 같은 ‘튜닝 대상’이라는 점은 같습니다.
자동 튜닝 도구가 있나요?
AutoML·하이퍼파라미터 서치가 있지만, LLM SaaS 사용자는 보통 제공 UI/API 범위에서 수동 튜닝합니다.