笔记 · AI 工作流 ·

上下文越杂,注意力越散

注意力权重加起来永远是 100%,噪音一多关键指令就被稀释;缓存只认完全相同的前缀,所以开头要稳定。

读书笔记原文:《大模型底层原理:注意力机制与 KV Cache》↗Oil 欧呦 · Oil Book

为什么读

很多 Agent 使用习惯,比如开新对话、用子 Agent、把规则拆成 Skill,平时只知道「要这么做」。这篇从注意力和 KV Cache 讲起,解释了为什么。

我记下的要点

  1. 模型没有记忆。 每次请求,客户端都把整段历史(消息、文件内容、工具日志)重新发一遍,再一个 token 一个 token 地往后预测。对话越长,每次发的东西越多。
  2. Q、K、V 三个向量。 Query 是当前 token 在找什么,Key 是前面每个 token 的标签,Value 是它实际带的意思。用 Query 去匹配所有 Key,按权重把 Value 合起来。
  3. 长对话变笨的原因:权重总和固定是 100%。 上下文里塞满过期日志和无关代码,分到开头关键指令上的权重就被稀释了。所以 200K、1M 的窗口不等于装满了也好用。
  4. KV Cache 和提示缓存。 前面 token 的 K、V 不会变,可以存起来复用。服务商还会跨请求保留缓存,Agent 几十次请求前缀几乎一样,命中缓存时输入价格通常只有大约十分之一。
  5. 缓存只认完全相同的前缀。 开头改一个字,后面的缓存全部失效。比如在系统提示里放一个精确到秒的时间戳,就会让缓存每次都失效。
  6. 落到使用习惯上: 规则用 Skill 按需加载,不要全塞进 CLAUDE.md;探索类的活交给子 Agent,只拿结论;一个独立任务做完就开新对话或 /compact;固定内容放前面,动态内容往后追加。

我的想法

今天整理笔记时,Claude 把读网页的活派给了几个子 Agent 并行做,自己只收摘要。读完这篇我才明白,这不只是为了快,也是为了让主对话的上下文保持干净,注意力不被几万字网页分散。

「权重总和是 100%」这个说法很好记。它让我意识到,往对话里多塞资料不一定是帮忙,可能是在稀释重点。

我还不确定的是:压缩会重新生成一次缓存,那什么时候压缩划算,什么时候直接开新对话更好?文章说压缩「通常」更划算,具体分界线我还说不清。

我打算试试

  • 看一眼自己的 CLAUDE.md,把只在特定场景用到的长规则挪出去
  • 一个功能做完就开新对话,不再在同一个对话里连着做好几件事