기초 개념 · Gradient Descent중급갱신일 2026. 10. 1.
경사 하강법
모델이 틀린 정도(손실)를 줄이도록 파라미터를 조금씩 고치는 학습 방법입니다.
비유
안개 낀 산에서 발밑이 가장 가파른 쪽으로 한 걸음씩 내려가 골짜기(최저점)를 찾는 것과 비슷합니다.
이렇게 이해하세요
경사 하강법(Gradient Descent)은 신경망·선형 모델이 학습할 때 ‘오차를 줄이는 방향’으로 가중치를 반복 업데이트하는 핵심 아이디어입니다. 학습률(learning rate)이 너무 크면 발산하고, 너무 작으면 학습이 느립니다. 미니배치·Adam 같은 변형은 대규모 데이터에서 현실적으로 씁니다. 초보자는 수식보다 ‘학습=손실을 줄이며 반복 조정’만 알아도 API 문서의 epoch·batch size를 이해하기 쉽습니다. 생성형 AI 사용자에게는 직접 구현보다 ‘학습 비용·시간·과적합’과 연결해 읽는 용어입니다.
한 줄 암기
경사 하강 = 오차 줄이며 계단식 조정
좋은 예
파인튜닝 견적을 볼 때 epoch·batch·학습률이 비용·과적합 위험과 연결됨을 팀에 한 줄 설명한다.
피하기
‘경사 하강 돌리면 만능’이라며 데이터 검수·평가 없이 파인튜닝만 주문한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
ChatGPT 사용자가 꼭 알아야 하나요?
직접 학습하지 않는다면 깊은 수학은 필수는 아닙니다. 다만 ‘학습=손실 최소화 반복’ 정도는 문서 읽기에 도움이 됩니다.
로컬 LLM 학습과도 관련 있나요?
네. LoRA·파인튜닝 튜토리얼의 learning rate, warmup 등이 모두 경사 하강 계열 설정입니다.