AI 캐시가 제값을 하려면
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
claude
글 2편
글 2편
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
세션마다 복제되는 stdio MCP 서버가 프로세스 169개, 메모리 6.7GB를 차지하고 있었다. 프록시로 프로세스를 공유하게 만들어 줄였는데, 만들고 나니 더 큰 질문이 남았다. 이 서버들, 지금도 MCP여야 하나?