rtk, caveman 같은 토큰 절약 스킬·도구는 정말 효과가 있나요?
조금은 있지만 광고보다 훨씬 적습니다. JetBrains가 Claude Code에서 짝 비교 테스트를 하고 청구 금액을 비교했습니다. caveman은 65%를 내세웠지만 출력 토큰이 8.5% 줄었고, rtk는 60~90%를 내세웠지만 낮은 추론 강도에서 7.6% 더 들고 높은 강도에서는 같았습니다. 둘 다 작업 품질을 떨어뜨리지는 않았습니다. 설치 전에 /usage로 토큰이 어디에 쓰이는지 보고, 설치 후에는 도구가 알려 주는 숫자가 아니라 실제 사용량을 보세요.
Codex
Codex에서 진행된 공개 짝 비교 테스트는 없습니다. 판단 방법은 같습니다. 도구가 알려 주는 숫자가 아니라 내 계정의 토큰 사용량을 비교하세요.
rtk와 caveman 모두 Codex를 지원하지만, 위의 두 테스트는 Claude Code에서만 진행됐으므로 수치를 그대로 옮길 수는 없습니다. 원리는 같습니다. OpenAI는 프롬프트, 파일, 대화 기록, 도구 결과, 응답이 모두 토큰을 쓴다고 설명합니다. 명령 출력은 그중 한 부분이고, 한 부분만 압축해서는 전체가 크게 줄지 않습니다. 직접 확인하려면 Codex CLI의 /usage daily와 /usage weekly로 계정의 토큰 사용량을, /status로 남은 한도를 보세요. OpenAI가 안내하는 절약 방법은 따로 있습니다. 프롬프트를 정확하게 쓰고, 관련 있는 파일만 주고, AGENTS.md를 짧게 유지하고, 필요 없는 MCP 서버를 끄고, 일상적인 작업에는 더 작은 모델을 쓰는 것입니다.
공식 문서 원문
Tokens are small units of information that ChatGPT reads and writes. Your prompt, files, chat history, tool results, and ChatGPT's response all use tokens.Limit the number of MCP servers you use. Every MCP server adds more context to your messages and uses more of your limit. Disable MCP servers when you don't need them./usage — View account token usage or use a rate-limit reset. Inspect daily, weekly, or cumulative ChatGPT token activity from inside the TUI.Claude
실제로 잰 절감 폭은 작습니다. caveman은 출력 토큰이 8.5% 줄었고, rtk는 7.6% 더 들거나 같았습니다. 작업 품질은 떨어지지 않았습니다.
두 테스트 모두 JetBrains가 진행했습니다. Claude Code, claude-sonnet-5, SkillsBench의 코딩 작업 86개를 대상으로, 작업마다 도구를 쓴 경우와 쓰지 않은 경우를 한 번씩 실행해 짝지어 비교했습니다. caveman은 모든 응답에 강제로 켠 가장 유리한 조건이었습니다. 출력 토큰은 8.5% 줄었고(작업 82쌍에서 592k에서 542k로), 비용은 약 10% 줄었습니다. rtk는 기본 설치 그대로 썼습니다. 낮은 추론 강도에서는 작업당 비용의 중앙값이 7.6% 높았고(80쌍, p=0.004), 높은 강도에서는 +0.1%였습니다(p=0.99). 광고 수치는 테스트가 진행된 2026년 7월 당시 두 프로젝트의 README에 적혀 있던 것입니다.
공식 문서 원문
rtk advertised saving: 60–90%. Measured on real agent work: +7.6% more expensive at low reasoning effort (p=0.004), ±0% at high effort. Setup: Claude Code 2.1.201 · claude-sonnet-5 low and high efforts · SkillsBench. Task quality: unchanged in both arms, at both effort levels.Advertised saving: 65%. Measured saving: 8.5%. Output-token saving on real agentic tasks, with the skill forcibly activated. This is the ceiling, not the usual-case result.a tool's self-reported savings are a claim about its counterfactual, not about your bill. rtk's scoreboard said 96 million tokens saved while the invoice went up. If you evaluate any context-compression tool, measure the paired bill, not the tool's diff.On a Pro, Max, Team, or Enterprise plan, /usage also shows a breakdown of what counts against your plan limits: Attribution: recent usage attributed to skills, subagents, plugins, and individual MCP servers, each shown as a percentage of the total.절감 폭이 작은 이유
이런 도구가 압축할 수 있는 부분이 애초에 작습니다. 코딩 작업에서 에이전트 출력은 대부분 코드, diff, 도구 호출이며 caveman은 이것들을 그대로 둡니다. 짧아지는 것은 도구 호출 사이의 짧은 설명뿐입니다.
Claude Code는 자체 도구인 Read와 Grep으로 파일을 읽고 검색하며, 이 도구들은 rtk가 쓰는 Bash hook을 거치지 않습니다. 모델이 읽는 내용 가운데 rtk가 손댈 수 있는 도구 출력은 약 5분의 1입니다. JetBrains는 가능한 최대 절감을 청구 금액의 약 3%로 추정합니다.
장황한 명령 출력만 걸러 내고 싶다면, Claude Code 공식 문서에 실패한 줄만 돌려주는 hook 예시가 이미 있습니다.
공식 문서 원문
Advertised savings come from chat-style prose answers. Agentic output is different: code, diffs, tool invocations, and exact error strings dominate the token stream, and Caveman correctly leaves all of it verbatim.Custom hooks can preprocess data before Claude sees it. Instead of Claude reading a 10,000-line log file to find errors, a hook can grep for ERROR and return only matching lines, reducing context from tens of thousands of tokens to hundreds.두 프로젝트가 지금 하는 말
테스트 이후 두 README 모두 내용이 바뀌었습니다. rtk는 이제 에이전트가 읽는 bash 출력을 최대 90% 줄인다고 하면서, 이것이 청구 금액을 90% 줄인다는 뜻은 아니라고 밝힙니다. caveman은 8.5%라는 결과를 직접 인용하고 있으며, 그 뒤로 도구 출력을 압축하는 프록시를 추가했습니다. JetBrains는 이 부분을 테스트하지 않았습니다.
두 도구의 압축 자체는 실제로 이뤄지며, 두 테스트 모두에서 작업 품질이 유지됐습니다. 차이는 작업의 종류와 절감을 계산하는 방식에 있습니다.
공식 문서 원문
RTK cuts up to 90% of the bash output your agent reads. That is what RTK measures, and it is not the same as cutting your bill by 90%.The JetBrains number is why the proxy exists. They measured the skill alone, in July 2026, before the proxy shipped.흔한 오해
- 도구가 수천만 토큰을 절약했다고 하니 청구 금액도 그만큼 줄었다
아닙니다. 낮은 추론 강도로 진행한 전체 테스트에서 rtk 카운터는 9,620만 토큰을 절약했다고 표시했지만 같은 작업의 청구 금액은 오히려 올랐습니다. JetBrains는 이유를 세 가지 듭니다. 가공되지 않은 전체 출력을 비교 기준으로 삼는데, Claude Code는 어차피 긴 출력을 잘라 냅니다. 명령을 실행할 때 글자 수를 4로 나눠 토큰을 추정하는데, 세션의 입력 비용은 대부분 캐시 요율로 다시 읽는 몫입니다. 그리고 hook은 컨텍스트의 대부분을 아예 보지 못합니다.
- 토큰 절약 스킬 하나만 설치하면 사용량이 절반 넘게 줄어든다
아닙니다. 광고하는 65%는 채팅형 문답에서 나온 수치입니다. 에이전트가 코드를 작성할 때 출력은 대부분 코드, diff, 도구 호출이며 이런 스킬은 그것을 건드리지 않습니다. 실측 상한은 모든 응답에 스킬을 강제로 켰을 때의 출력 토큰 8.5% 감소이며, 평소 사용에서는 그보다 적습니다.
- 테스트에서 절감 폭이 작았으니 이런 도구는 사기다
아닙니다. 두 테스트 모두에서 작업 품질이 유지됐고 압축은 실제로 이뤄집니다. rtk에 대한 JetBrains의 평가는 "Honest engineering, wrong counterfactual."(엔지니어링은 정직했지만 비교 기준을 잘못 잡았다는 뜻)이었습니다. 지금은 두 README도 같은 이야기를 합니다. rtk는 bash 출력을 줄이는 것과 청구 금액을 줄이는 것을 구분하고, caveman은 8.5%라는 수치를 인용합니다. 차이는 작업의 종류와 절감을 계산하는 방식에서 나오며, 도구가 가짜여서가 아닙니다.
팁
- 무엇이든 설치하기 전에 토큰이 어디에 쓰이는지 보세요. Claude Code에서 /usage(d나 w를 눌러 24시간 또는 7일)와 /context를 실행합니다. 긴 세션이나 서브에이전트가 대부분을 차지한다면 명령 출력을 압축하는 도구는 도움이 되지 않습니다.
- 도구를 검증하려면 사용량을 비교하세요. 비슷한 작업으로 도구 없이 며칠, 도구를 쓰며 며칠을 보낸 뒤 /usage(Codex는 /usage weekly)에서 비교합니다. 도구의 카운터를 결과로 삼지 마세요.
- 한 번 돌려 보고 판단하지 마세요. rtk 테스트에서는 같은 작업을 그대로 다시 실행하기만 해도 비용 중앙값이 22% 달라졌습니다. caveman은 작업 10개로 한 첫 실행에서 29.5% 절약으로 나왔지만 86개로 늘리자 8.5%였습니다.
- 설치한 뒤에는 턴이 늘어나지 않는지 살펴보세요. rtk 테스트에서 세션의 턴 수가 13.8%, 캐시 읽기가 14.3% 늘었고, 추가 비용은 거기서 나왔습니다.
- 테스트와 로그 출력만 걸러 내려면 Claude Code costs 페이지에 실패한 줄만 돌려주는 PreToolUse hook 예시가 있습니다. 서드파티 도구는 필요 없습니다.
- 스킬은 어느 것이든 그 자체로 턴마다 비용이 듭니다. 설명이 항상 실리기 때문입니다.