上下文越杂,注意力越散
注意力权重加起来永远是 100%,噪音一多关键指令就被稀释;缓存只认完全相同的前缀,所以开头要稳定。
读书笔记原文:《大模型底层原理:注意力机制与 KV Cache》↗Oil 欧呦 · Oil Book
为什么读
很多 Agent 使用习惯,比如开新对话、用子 Agent、把规则拆成 Skill,平时只知道「要这么做」。这篇从注意力和 KV Cache 讲起,解释了为什么。
我记下的要点
- 模型没有记忆。 每次请求,客户端都把整段历史(消息、文件内容、工具日志)重新发一遍,再一个 token 一个 token 地往后预测。对话越长,每次发的东西越多。
- Q、K、V 三个向量。 Query 是当前 token 在找什么,Key 是前面每个 token 的标签,Value 是它实际带的意思。用 Query 去匹配所有 Key,按权重把 Value 合起来。
- 长对话变笨的原因:权重总和固定是 100%。 上下文里塞满过期日志和无关代码,分到开头关键指令上的权重就被稀释了。所以 200K、1M 的窗口不等于装满了也好用。
- KV Cache 和提示缓存。 前面 token 的 K、V 不会变,可以存起来复用。服务商还会跨请求保留缓存,Agent 几十次请求前缀几乎一样,命中缓存时输入价格通常只有大约十分之一。
- 缓存只认完全相同的前缀。 开头改一个字,后面的缓存全部失效。比如在系统提示里放一个精确到秒的时间戳,就会让缓存每次都失效。
- 落到使用习惯上: 规则用 Skill 按需加载,不要全塞进
CLAUDE.md;探索类的活交给子 Agent,只拿结论;一个独立任务做完就开新对话或/compact;固定内容放前面,动态内容往后追加。
我的想法
今天整理笔记时,Claude 把读网页的活派给了几个子 Agent 并行做,自己只收摘要。读完这篇我才明白,这不只是为了快,也是为了让主对话的上下文保持干净,注意力不被几万字网页分散。
「权重总和是 100%」这个说法很好记。它让我意识到,往对话里多塞资料不一定是帮忙,可能是在稀释重点。
我还不确定的是:压缩会重新生成一次缓存,那什么时候压缩划算,什么时候直接开新对话更好?文章说压缩「通常」更划算,具体分界线我还说不清。
我打算试试
- 看一眼自己的 CLAUDE.md,把只在特定场景用到的长规则挪出去
- 一个功能做完就开新对话,不再在同一个对话里连着做好几件事