요금·도입 · Latency초보갱신일 2026. 10. 1.

응답 지연(레이턴시)

요청을 보낸 뒤 AI 답이 나오기까지 걸리는 시간입니다.

비유

카페에서 주문하고 음료가 나오기까지 기다리는 시간과 같습니다. 길면 줄이 이탈합니다.

이렇게 이해하세요

레이턴시는 모델 크기, 토큰 수, 도구 호출, 네트워크, 큐에 영향을 받습니다. 제품에서는 첫 토큰 시간(TTFT)과 전체 완료 시간을 구분해 측정합니다. 초보자는 ‘더 큰 모델=항상 느림’만 외우지 말고, 스트리밍·캐시·짧은 컨텍스트로 체감 속도를 개선할 수 있음을 알아 두세요. 요금·한도와 함께 SLA를 볼 때 핵심 지표입니다.