기초 개념 · Attention중급갱신일 2026. 10. 1.
어텐션
모델이 지금 답할 때 입력의 어디에 더 집중할지 정하는 계산입니다.
비유
시험지 전체를 동시에 훑되, 문제와 관련된 문단에 형광펜을 더 진하게 칠하는 것과 같습니다.
이렇게 이해하세요
어텐션은 입력 토큰들 사이의 관련도를 점수로 매겨, 중요한 부분에 더 큰 가중치를 주는 기법입니다. 셀프 어텐션은 같은 문장 안에서 서로 참조합니다. 덕분에 대명사·긴 문장 의존 관계를 잘 잡는 편입니다. 초보 사용자는 수식보다 ‘모델이 어디를 보는지’라는 직관만 있으면 됩니다. 긴 컨텍스트에서도 중요한 지시가 묻히지 않게 앞쪽에 핵심을 두는 습관과 잘 맞습니다.
한 줄 암기
어텐션 = 어디에 형광펜을 칠할까
좋은 예
긴 프롬프트에서 핵심 제약을 맨 앞·맨 뒤에 반복해 주의를 끈다.
피하기
중요 지시를 잡다한 로그 한가운데에만 묻어 둔다.
관련 서비스
관련 용어
기초 개념 더보기관련 링크
자주 묻는 질문
사람이 어텐션을 조절할 수 있나요?
직접 수치는 못 만지지만, 강조·반복·구조화로 모델이 볼 위치를 유도할 수 있습니다.
멀티헤드 어텐션은?
여러 관점의 주의를 동시에 계산하는 확장입니다. 제품 사용에는 몰라도 됩니다.