기초 개념 · Loss Function중급갱신일 2026. 10. 1.
손실 함수
모델 답이 정답과 얼마나 다른지 숫자로 재는 ‘틀린 정도’입니다.
비유
시험 채점표에서 틀린 문제마다 감점이 쌓이듯, 손실 함수는 ‘지금 모델이 얼마나 산으로 갔는지’를 재는 점수입니다.
이렇게 이해하세요
손실 함수(Loss Function)는 분류·회귀·생성 모델마다 다른 형태로 ‘예측 vs 정답’ 차이를 하나의 숫자로 만듭니다. 학습은 이 숫자를 줄이는 방향으로 진행되며, 검증 손실이 올라가면 과적합 신호로 보기도 합니다. LLM 학습에서는 cross-entropy(다음 토큰 맞히기)가 중심입니다. 제품 사용자는 손실 그래프를 직접 보지 않지만, ‘평가 지표·벤치마크·RLHF 보상’이 모두 ‘무엇을 잘했다고 볼지’를 정의한다는 점에서 연결됩니다. 좋은 손실 정의 없이는 아무리 GPU를 써도 원하는 행동으로 모델이 안 갈 수 있습니다.
한 줄 암기
손실 = 틀린 정도 점수(줄이면 학습)
좋은 예
파인튜닝 목표를 ‘요약 길이’가 아니 ‘사실 일치 F1’처럼 업무 지표와 손실/평가를 맞춘다.
피하기
손실 수치만 낮다고 실제 고객 CS 만족도 개선을 증명한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
손실이 0에 가까우면 완벽한가요?
훈련 데이터에만 0에 가까울 수 있습니다. 검증·실서비스 데이터에서 확인해야 합니다.
RLHF와 손실의 관계는?
RLHF는 사람 선호를 보상으로 바꿔 정책을 조정합니다. ‘손실=사람이 좋아할 답’에 가깝게 재정의하는 셈입니다.