AI 캐시가 제값을 하려면
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
litellm
글 2편
글 2편
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
LiteLLM 프록시에 Prometheus·Grafana와 Langfuse를 붙이고 같은 mock 트래픽을 14분간 흘렸다. 내장 Admin UI는 누가 얼마나 썼는지까지 보여주고, 시계열과 알림은 Grafana, 요청 본문·세션·트레이스·점수는 Langfuse가 있어야 보인다. 어디까지 Admin UI로 충분한지와 붙이는 순서를 정리했다.