rtk や caveman などのトークン節約ツールは本当に効果がある？
少しはありますが、宣伝よりずっと小さな効果です。JetBrains が Claude Code でペアテストを行い、請求額を比べました。caveman は 65% をうたい、出力トークンの削減は 8.5% でした。rtk は 60〜90% をうたい、低い推論レベルでは 7.6% 高くなり、高いレベルでは同等でした。どちらもタスクの品質は下げていません。入れる前に /usage でトークンの使い道を確認し、入れた後はツールが報告する数値ではなく、自分の使用量を見ましょう。
Codex
Codex での公開されたペアテストはありません。判断の方法は同じで、ツールが報告する数値ではなく、自分のアカウントのトークン使用量を比べます。
rtk も caveman も Codex に対応していますが、上の 2 つのテストは Claude Code だけで行われたもので、数値をそのまま当てはめることはできません。考え方は共通です。OpenAI は、プロンプト、ファイル、チャットの履歴、ツールの結果、応答のすべてがトークンを使うと述べています。コマンドの出力はその一部で、一部だけを圧縮しても全体ではあまり減りません。自分で確かめるには、Codex CLI の /usage daily と /usage weekly でアカウントのトークン使用量を、/status で残りを確認します。OpenAI が挙げている節約の方法はほかにあります。プロンプトを正確に書く、関連するファイルだけを渡す、AGENTS.md を短く保つ、不要な MCP サーバーをオフにする、定型の作業には小さいモデルを使う、です。
公式ドキュメントの記載
Tokens are small units of information that ChatGPT reads and writes. Your prompt, files, chat history, tool results, and ChatGPT's response all use tokens.Limit the number of MCP servers you use. Every MCP server adds more context to your messages and uses more of your limit. Disable MCP servers when you don't need them./usage — View account token usage or use a rate-limit reset. Inspect daily, weekly, or cumulative ChatGPT token activity from inside the TUI.Claude
実測の節約はわずかです。caveman は出力トークンを 8.5% 減らし、rtk は 7.6% 高くなるか同等でした。タスクの品質は下がりませんでした。
どちらのテストも JetBrains が行いました。Claude Code、claude-sonnet-5、SkillsBench の 86 のコーディングタスクで、各タスクをツールありとツールなしで 1 回ずつ実行し、ペアで比べています。caveman はすべての応答で強制的にオンにした、最も有利な条件です。出力トークンは 8.5% 減り（82 ペアで 592k から 542k）、コストは約 10% 減りました。rtk はデフォルトのインストールです。低い推論レベルではタスクあたりのコストの中央値が 7.6% 高く（80 ペア、p=0.004）、高いレベルでは +0.1%（p=0.99）でした。宣伝の数値は、テストが行われた 2026 年 7 月時点の 2 つの README の記載です。
公式ドキュメントの記載
rtk advertised saving: 60–90%. Measured on real agent work: +7.6% more expensive at low reasoning effort (p=0.004), ±0% at high effort. Setup: Claude Code 2.1.201 · claude-sonnet-5 low and high efforts · SkillsBench. Task quality: unchanged in both arms, at both effort levels.Advertised saving: 65%. Measured saving: 8.5%. Output-token saving on real agentic tasks, with the skill forcibly activated. This is the ceiling, not the usual-case result.a tool's self-reported savings are a claim about its counterfactual, not about your bill. rtk's scoreboard said 96 million tokens saved while the invoice went up. If you evaluate any context-compression tool, measure the paired bill, not the tool's diff.On a Pro, Max, Team, or Enterprise plan, /usage also shows a breakdown of what counts against your plan limits: Attribution: recent usage attributed to skills, subagents, plugins, and individual MCP servers, each shown as a percentage of the total.節約が小さい理由
これらのツールが圧縮できる部分が、そもそも小さいからです。コーディングの作業では、エージェントの出力のほとんどがコード、diff、ツールの呼び出しで、caveman はそのどれにも手を付けません。短くなるのは、ツールの呼び出しの間にある短い説明だけです。
Claude Code は、ファイルの読み込みと検索に自前の Read と Grep のツールを使い、これらは rtk が使う Bash フックを通りません。モデルが読む内容のうち、rtk の手が届くツールの出力は約 5 分の 1 です。JetBrains は、最大でも請求額の約 3% の節約と見積もっています。
冗長なコマンドの出力を絞りたいだけなら、Claude Code の公式ドキュメントに、失敗だけを返すフックの例がすでにあります。
公式ドキュメントの記載
Advertised savings come from chat-style prose answers. Agentic output is different: code, diffs, tool invocations, and exact error strings dominate the token stream, and Caveman correctly leaves all of it verbatim.Custom hooks can preprocess data before Claude sees it. Instead of Claude reading a 10,000-line log file to find errors, a hook can grep for ERROR and return only matching lines, reducing context from tens of thousands of tokens to hundreds.2 つのプロジェクトの現在の説明
テストの後、どちらの README も書き換えられました。rtk は現在、エージェントが読む bash の出力を最大 90% 削るとしたうえで、それは請求額が 90% 減ることと同じではないと明記しています。caveman は 8.5% という結果を自ら引用し、その後、ツールの出力を圧縮するプロキシを追加しました。JetBrains はその部分をテストしていません。
どちらのツールも圧縮そのものは本物で、どちらのテストでもタスクの品質は保たれました。違うのは、作業の種類と、節約の数え方です。
公式ドキュメントの記載
RTK cuts up to 90% of the bash output your agent reads. That is what RTK measures, and it is not the same as cutting your bill by 90%.The JetBrains number is why the proxy exists. They measured the skill alone, in July 2026, before the proxy shipped.よくある誤解
- ツールが数千万トークンを節約したと表示しているので、請求額も同じだけ減った
減っていません。低い推論レベルでの一連のテストで、rtk のカウンターは 9,620 万トークンの節約を報告しましたが、同じタスクの請求額は上がっていました。JetBrains は理由を 3 つ挙げています。比較の基準が完全な生の出力で、Claude Code はもともとそれを切り詰めていたこと。コマンドの実行時に文字数を 4 で割ってトークンを見積もっている一方、セッションの入力コストの大部分はキャッシュ用のレートでの読み直しであること。そして、フックにはコンテキストの大部分が見えていないことです。
- トークン節約のスキルを 1 つ入れれば、使用量が半分以下になる
なりません。宣伝の 65% は、チャット形式の回答での数値です。エージェントがコードを書くとき、出力のほとんどはコード、diff、ツールの呼び出しで、この種のスキルはそこに手を付けません。実測の上限は、すべての応答で強制的にオンにした場合の出力トークン 8.5% 減で、普通の使い方ではそれより小さくなります。
- テストで節約が小さかったのだから、これらのツールは詐欺だ
詐欺ではありません。どちらのテストでもタスクの品質は保たれ、圧縮そのものは本物です。JetBrains の rtk への評価は「Honest engineering, wrong counterfactual」（誠実なエンジニアリングだが、比較の基準が誤っている）でした。現在はどちらの README も同じことを述べています。rtk は bash の出力を削ることと請求額を減らすことを区別し、caveman は 8.5% という数値を引用しています。差が出るのは作業の種類と節約の数え方で、ツールが偽物だからではありません。
ヒント
- 何かを入れる前に、トークンの使い道を確認しましょう。Claude Code で /usage（d か w で 24 時間と 7 日間を切り替え）と /context を実行します。長いセッションやサブエージェントが大部分を占めているなら、コマンドの出力を圧縮するツールは役に立ちません。
- ツールを試すなら、自分の使用量で比べます。入れない数日と入れた数日を、似た作業で、/usage（Codex は /usage weekly）で比べましょう。ツールのカウンターを結論にしないでください。
- 1 回の実行で判断しないでください。rtk のテストでは、同じタスクをそのまま繰り返すだけで、コストの中央値が 22% 動きました。caveman の最初の実行は 10 タスクで 29.5% の節約を示しましたが、86 タスクでは 8.5% でした。
- 入れた後は、ターンが増えていないかに注意しましょう。rtk のテストでは、セッションのターン数が 13.8%、キャッシュの読み取りが 14.3% 増えました。余分なコストはそこで生じています。
- テストやログの出力を絞りたいだけなら、Claude Code の costs ページに、失敗だけを返す PreToolUse フックの例がそのまま使える形であります。サードパーティのツールは必要ありません。
- どのスキルにも、毎ターンのコストがあります。スキルの説明は常に持ち運ばれます。