기초 개념 · Mixture of Experts고급갱신일 2026. 9. 29.
전문가 혼합
입력마다 일부 ‘전문가’ 신경망만 켜 대규모 모델을 효율적으로 돌리는 구조입니다.
비유
병원 종합진료에서 증상별로 해당 과 의사만 호출하는 것과 같습니다.
이렇게 이해하세요
MoE는 파라미터는 커도 토큰당 활성 계산을 줄여 확장합니다. 라우팅 품질이 성능에 영향을 줍니다. 실무에서는 정의만 외우지 말고 ‘언제 쓰고 언제 쓰지 말아야 하는지’를 함께 기억하세요. 불확실한 사실은 출처를 확인하고, 민감 정보는 마스킹한 뒤 도구에 넣으세요.
한 줄 암기
MoE = 필요한 전문가만 호출
좋은 예
모델 카드에서 MoE 여부를 확인한다.
피하기
모든 대형 모델이 Dense라고 단정한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
더 똑똑한가요?
설계·학습에 따라 다릅니다. 구조만으로 보장되지 않습니다.
비용은?
활성 전문가 수·인프라에 따라 달라집니다.