AI 中输入 Token、输出 Token、Cache 三者的关系

一次 LLM 请求的计费单元拆解，以及如何利用缓存省钱。

📊 三者关系图示

┌─────────────────────────────────────────────────────────────────┐
│                    一次 LLM 请求的 Token 组成                    │
└─────────────────────────────────────────────────────────────────┘

        【输入 Input Tokens】              【输出 Output Tokens】
        ───────────────────                ──────────────────────
                │                                    ▲
                ▼                                    │
        ┌───────────────┐                    ┌──────────────┐
        │   Prompt      │ ──────► LLM ─────► │   Response   │
        │  (你发的)     │        大模型      │  (模型生成)  │
        └───────────────┘                    └──────────────┘
                │
                │ 可拆分为两部分：
                ▼
    ┌──────────────────────┬──────────────────────┐
    │   Cached Tokens      │   Uncached Tokens    │
    │   (命中缓存)         │   (新鲜内容)         │
    │   💰 便宜 10 倍       │   💸 正常价格         │
    │   ⚡ 响应更快         │   🐢 需要重新计算     │
    └──────────────────────┴──────────────────────┘

💡 详细拆解

1. 三者本质

类型	是什么	计费特点
Input Token	你发给模型的内容（prompt）	便宜 (~$3/M)
Output Token	模型生成返回的内容	贵 (~$15/M，约 5 倍)
Cache Token	输入中被复用的前缀部分	超便宜 (~$0.3/M，10% 价格)

2. 流水线视角

第一次请求:
┌────────────────────────────────────────┐
│  [系统提示 1000 tok] [用户问题 50 tok] │ ──► 模型 ──► [回答 200 tok]
└────────────────────────────────────────┘
   ↑ 全部按 Input 价格计费        ↑ Output 价格

   💾 写入缓存（系统提示被记住了）


第二次请求（5 分钟内）:
┌────────────────────────────────────────┐
│  [系统提示 1000 tok] [新问题 30 tok]   │ ──► 模型 ──► [回答 150 tok]
└────────────────────────────────────────┘
   ↑ Cache 价格!        ↑ 正常 Input     ↑ Output
   (省了 90%)

🌰 实例对比

✅ 可缓存的数据（Cacheable）

场景：客服机器人

【固定前缀 - 被缓存 💾】
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
你是"小美"客服助手，以下是公司规章：
- 退货政策：7 天无理由退货...
- 配送规则：满 99 包邮...
- FAQ 100 条：...
（共 5000 tokens，每次对话都一样）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

【变化部分 - 不缓存】
用户：我的订单啥时候发货？  ← 每次不同

特点： 内容稳定、重复使用、放在 prompt 前面。

❌ 不可缓存的数据（Non-cacheable）

场景：实时天气查询

【每次都变 - 无法缓存 💸】
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
当前时间：2026-04-27 14:32:18
当前温度：23.5°C
当前风速：5.2 m/s
用户位置：经度 116.4074, 纬度 39.9042
请基于以上实时数据回答...
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

特点： 动态变化、时效性强、每次都是新的 → 缓存永远命中不了。

🎯 关键规则总结

┌─────────────────────────────────────────────┐
│  💰 省钱公式：                              │
│                                             │
│  把【不变的】放前面  ──► 进缓存            │
│  把【变化的】放后面  ──► 正常计费          │
│                                             │
│  ⚠️ 缓存有 TTL（通常 5 分钟-1 小时）        │
│  ⚠️ 前缀必须一字不差，改一个字符就失效     │
└─────────────────────────────────────────────┘

一句话记忆

Input 是进、Output 是出、Cache 是"进"里面白嫖的部分。

---

整理日期：2026-04-27