기초 개념 · Transformer중급갱신일 2026. 10. 1.
트랜스포머
문장 안 단어들이 서로 얼마나 관련있는지 한번에 보는 LLM의 대표 구조입니다.
비유
줄줄이 기다리는 창구 대신, 회의실에서 모두가 서로를 동시에 쳐다보며 핵심만 고르는 방식과 비슷합니다.
이렇게 이해하세요
트랜스포머는 어텐션(주의) 메커니즘으로 시퀀스 내 토큰 간 관계를 병렬로 학습하는 신경망 구조입니다. 번역에서 시작해 GPT·BERT류 LLM의 뼈대가 되었습니다. 초보자는 ‘다음 단어 예측기’ 뒤에 이 구조가 있다는 정도만 알아도 충분합니다. 긴 문맥·병렬 학습에 강점이 있지만 계산 비용도 큽니다. ‘트랜스포머=항상 최신 사실’은 아니며, 학습 데이터와 연결 도구가 사실성을 좌우합니다.
한 줄 암기
트랜스포머 = 단어끼리 서로 보기(어텐션)
좋은 예
긴 문서 요약이 앞뒤 문맥을 함께 본다고 설명할 때 트랜스포머를 언급한다.
피하기
트랜스포머라서 환각이 없다고 말한다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
어텐션이 뭔가요?
지금 생성하는 단어가 입력의 어느 부분에 더 집중할지 가중치를 두는 계산입니다.
모든 AI가 트랜스포머인가요?
아니요. 이미지 확산 모델·고전 ML 등 다른 구조도 많습니다. LLM 계열에서 특히 흔합니다.