기초 개념 · Inference초보갱신일 2026. 10. 1.
추론(인퍼런스)
이미 학습된 모델에 입력을 넣어 답을 실제로 계산·생성하는 단계입니다.
비유
요리 학교를 졸업한 셰프(학습)가, 주문표(프롬프트)를 보고 요리를 내놓는(추론) 순간입니다.
이렇게 이해하세요
추론(인퍼런스)은 학습이 끝난 모델을 실행해 출력하는 과정입니다. 채팅 한 번, 이미지 한 장 생성이 모두 추론입니다. 비용·지연·토큰 한도는 대개 이 단계에 붙습니다. ‘학습’과 혼동하면 안 됩니다. 사용자가 버튼을 누를 때마다 이루어지는 것은 보통 추론입니다. 속도와 품질 트레이드오프, 배치 처리, 캐싱 같은 운영 이슈도 추론과 연결됩니다.
한 줄 암기
추론 = 학습 끝난 모델 돌리기
좋은 예
피크 시간에 응답이 느리면 ‘추론 부하’를 의심하고 짧게 질문하거나 모델을 낮춘다.
피하기
채팅할 때마다 모델이 새로 ‘공부한다’고 믿는다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
파인튜닝과 다른가요?
파인튜닝은 가중치를 추가로 학습시키는 것이고, 추론은 그 결과 모델을 쓰는 것입니다.
로컬 실행도 추론인가요?
네. 내 PC에서 돌리든 클라우드 API든, 출력 계산은 추론입니다.