기초 개념 · Quantization중급갱신일 2026. 9. 29.
양자화
모델 숫자를 더 낮은 정밀도로 줄여 용량·속도를 아끼는 기법입니다.
비유
고화질 사진을 용량에 맞게 압축하는 것과 비슷합니다. 디테일은 조금 줄 수 있습니다.
이렇게 이해하세요
양자화는 가중치를 8비트·4비트 등으로 줄여 메모리와 추론 비용을 낮춥니다. 품질 저하와 속도 이득을 저울질해야 합니다. 실무에서는 정의만 외우지 말고 ‘언제 쓰고 언제 쓰지 말아야 하는지’를 함께 기억하세요. 불확실한 사실은 출처를 확인하고, 민감 정보는 마스킹한 뒤 도구에 넣으세요.
한 줄 암기
양자화 = 숫자 자리 줄여 가볍게
좋은 예
로컬 LLM을 4bit로 올려 노트북에서 돌린다.
피하기
정확도가 중요한 금융 답변에 과도 양자화만 고집한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
품질이 많이 떨어지나요?
모델·비트 수에 따라 다릅니다. 벤치마크로 확인하세요.
클라우드 API에도 필요한가요?
보통 제공자가 처리합니다. 로컬·셀프호스트에서 더 중요합니다.