AI 캐시가 제값을 하려면
AI API의 캐시 히트는 답을 돌려주는 응답 캐시가 아니라 입력 앞부분의 KV를 재사용하는 것이다. 어떤 요청이 적중하는지, 쓰기 비용을 감안하면 적중률이 얼마여야 본전인지 따지고, Claude Code 실측과 슬랙 챗봇 운영 로그로 에이전트와 챗봇을 비교했다. 에이전트 세션은 입력의 97.6%가 캐시 읽기였다.
llm
글 3편
LiteLLM 프록시 모니터링 - Admin UI로 충분한 것과 Grafana, Langfuse가 있어야 보이는 것
LiteLLM 프록시에 Prometheus·Grafana와 Langfuse를 붙이고 같은 mock 트래픽을 14분간 흘렸다. 내장 Admin UI는 누가 얼마나 썼는지까지 보여주고, 시계열과 알림은 Grafana, 요청 본문·세션·트레이스·점수는 Langfuse가 있어야 보인다. 어디까지 Admin UI로 충분한지와 붙이는 순서를 정리했다.
MCP 서버가 메모리 6.7GB를 먹길래 프록시를 만들었다
세션마다 복제되는 stdio MCP 서버가 프로세스 169개, 메모리 6.7GB를 차지하고 있었다. 프록시로 프로세스를 공유하게 만들어 줄였는데, 만들고 나니 더 큰 질문이 남았다. 이 서버들, 지금도 MCP여야 하나?