지식·검색·안전 · LLM Evaluation중급갱신일 2026. 10. 1.
LLM 평가
모델·프롬프트 품질을 테스트셋·채점으로 측정해 회귀를 막는 활동입니다.
비유
출시 전 체크리스트 시험처럼, ‘이 질문들에 얼마나 잘 답하나’를 점수화합니다.
이렇게 이해하세요
LLM 평가는 골든 질문셋, 사람 채점, LLM-as-judge, 온라인 피드백을 섞어 씁니다. 벤치마크만으로 우리 업무 품질을 보장하진 않습니다. 환각률·형식 준수·안전 거절을 업무별로 정의하세요. 프롬프트 변경 시 회귀 테스트가 중요합니다.
한 줄 암기
평가 = 출시 전 시험
좋은 예
고객지원 50문항 골든셋으로 프롬프트 변경 전후를 비교한다.
피하기
데모 한 번에 만족하고 모니터링 없이 배포한다.
관련 서비스
관련 에이전트
관련 용어
지식·검색·안전 더보기관련 링크
자주 묻는 질문
자동 채점만으로?
형식·키워드는 가능하지만, 미묘한 톤·사실은 사람 샘플링이 필요합니다.
얼마나 자주?
모델·프롬프트·도구가 바뀔 때마다, 그리고 주기적 샘플링을 권합니다.