KV Cache 存在谁的 GPU 显存里就归谁管。用云 API 你只能"触发命中"，自部署你才能"完全掌控"。
Cache 存在 LLM 服务商的 GPU 显存里，不在你这边。
| 类型 | 存在哪里 | 谁控制 | 你能干预吗 |
|---|---|---|---|
| Prompt Cache（KV Cache） | 🏢 服务商 GPU 显存 | 服务商 | ❌ 只能按规则触发 |
| 客户端响应缓存 | 💻 你的服务器/浏览器 | 你自己 | ✅ 完全控制 |
| 本地模型缓存 | 🖥️ 本地 GPU 显存（自部署时） | 你自己 | ✅ 完全控制 |
当前大模型的两大主流架构流派对比。
输入 Token
│
▼
┌─────────────────────────────────┐
│ 全部参数都要参与计算 🔥 │
│ │
│ ■■■■■■■■■■■■■■■■■■■■■■■■ │
│ ■■■■■■■■■■■■■■■■■■■■■■■■ │ ← 100% 激活
│ ■■■■■■■■■■■■■■■■■■■■■■■■ │
│ │
└─────────────────────────────────┘
│
▼
输出一次 LLM 请求的计费单元拆解，以及如何利用缓存省钱。
┌─────────────────────────────────────────────────────────────────┐
│ 一次 LLM 请求的 Token 组成 │
└─────────────────────────────────────────────────────────────────┘
【输入 Input Tokens】 【输出 Output Tokens】
─────────────────── ──────────────────────
│ ▲
▼ │
┌───────────────┐ ┌──────────────┐
│ Prompt │ ──────► LLM ─────► │ Response │
│ (你发的) │ 大模型 │ (模型生成) │
└───────────────┘ └──────────────┘
│
│ 可拆分为两部分：
▼
┌──────────────────────┬──────────────────────┐
│ Cached Tokens │ Uncached Tokens │
│ (命中缓存) │ (新鲜内容) │
│ 💰 便宜 10 倍 │ 💸 正常价格 │
│ ⚡ 响应更快 │ 🐢 需要重新计算 │
└──────────────────────┴──────────────────────┘