둘러보기
페이지
글 1편
2026년 9월 29일
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
