기초 개념 · Knowledge Distillation중급갱신일 2026. 10. 1.
지식 증류
큰 모델(교사)의 답 패턴을 작은 모델(학생)이 배우게 하는 학습 방법입니다.
비유
베테랑 셰프의 레시피 노트를 보조가 따라 하며 ‘비슷한 맛’을 내게 가르치는 것과 비슷합니다.
이렇게 이해하세요
지식 증류(Knowledge Distillation)는 성능 좋은 teacher 모델 출력·확률 분포를 student 모델이 모방하도록 학습합니다. 결과적으로 작은 모델이 대형에 근접한 품질을 낼 때가 있어, 엣지·비용 절감·지연 개선에 쓰입니다. ‘합성 데이터로 distillation’은 최근 LLM 파이프라인에서도 흔합니다. 저작권·라이선스·teacher API 약관을 확인해야 하며, student가 teacher의 환각까지 복사할 수 있습니다. aimodu.kr에서는 distillation을 ‘모델 다이어트 기술’로 이해하고, 배포 전 독립 평가 세트로 검증할 것을 권합니다.
한 줄 암기
증류 = 큰 AI를 작은 AI에 복사
좋은 예
teacher로 라벨링한 5천 QA로 student SLM을 학습하고, 홀드아웃 500건으로 teacher와 점수 비교한다.
피하기
경쟁사 API teacher 출력을 약관 위반으로 무단 수집·증류한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
파인튜닝과 다른가요?
파인튜닝은 데이터에 맞추는 것이고, 증류는 teacher 행동을 모방하는 목적이 강합니다. 함께 쓰이기도 합니다.
ChatGPT로 만든 데이터로 내 모델을 만들 수 있나요?
OpenAI 등 이용약관·출력 사용 조건을 반드시 확인하세요. 무단 상업 학습은 리스크가 큽니다.