기초 개념 · Knowledge Distillation고급갱신일 2026. 9. 29.
지식 증류
큰 선생 모델의 행동을 작은 학생 모델이 배우게 하는 압축 학습입니다.
비유
베테랑 강사의 요령을 요약 노트로 후배에게 전수하는 것과 같습니다.
이렇게 이해하세요
지식 증류는 대형 모델의 출력·중간 표현을 단서로 소형 모델을 학습시킵니다. 비용·지연을 낮추려는 배포에 쓰입니다. 실무에서는 정의만 외우지 말고 ‘언제 쓰고 언제 쓰지 말아야 하는지’를 함께 기억하세요. 불확실한 사실은 출처를 확인하고, 민감 정보는 마스킹한 뒤 도구에 넣으세요.
한 줄 암기
증류 = 큰 모델 요령을 작게
좋은 예
고비용 모델을 선생으로 삼아 경량 분류기를 만든다.
피하기
선생 출력 품질을 검증하지 않고 그대로 학생에 옮긴다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
파인튜닝과 차이?
증류는 선생→학생 전수가 핵심이고, 파인튜닝은 과제 데이터로 직접 맞춥니다.
오픈소스만?
상용에도 경량화 목적의 증류가 쓰입니다.