지연 SLO

비유

콜센터 ‘30초 내 응답’ 목표처럼, AI도 체감 속도 약속을 둡니다.

이렇게 이해하세요

지연 SLO는 UX와 비용(빠른 모델·캐시)을 연결합니다. TTFT(Time To First Token)와 총 완료 시간을 구분해 측정하세요. 실무에서는 정의만 외우지 말고 ‘언제 쓰고 언제 쓰지 말아야 하는지’를 함께 기억하세요. 불확실한 사실은 출처를 확인하고, 민감 정보는 마스킹한 뒤 도구에 넣으세요.

한 줄 암기

지연 SLO = 속도 약속

관련 서비스

• ChatGPT (챗GPT)
• Claude (클로드)
• Cursor (커서)

관련 에이전트

• CrewAI
• Dify

• AI SLA가동률·지연·지원 응답 등 서비스 품질을 계약으로 약속한 기준입니다.요금·도입중급
• 추론(인퍼런스)이미 학습된 모델에 입력을 넣어 답을 실제로 계산·생성하는 단계입니다.기초 개념초보

관련 링크

자주 묻는 질문