摘要压缩:工具吐 500 行日志,先榨成 5 行再给模型

本条目是「Context Engineering」的第 8 部分,对应学习清单条目 3.2.4。

前置依赖:渐进式加载、Recency Effect

为以下铺垫:长任务重注入、Context Rot


核心观点

摘要压缩(Summarization / Compaction):工具返回的原始结果先压缩成「只留关键信息」的摘要再进上下文,绝不把 500 行原始输出直接拍给模型。

就像同事甩给你一份 80 页调研报告,你不会从头精读,而是先看「结论 + 三条关键数据」,原始细节等要用了再翻。模型更挑——原始噪声越多,真正有用的信号越被淹没,它还会为噪声多付 token。先榨汁,再上桌。

定义 / 原理 / 实践 / 示例 / 优劣势

定义与原理

摘要压缩 = 把工具/检索返回的长内容,用 LLM 或规则提炼成高信号摘要,只保留决策需要的字段。Anthropic(2025-09)把 compaction(压缩)列为长程 Agent 的三大上下文杠杆之一(另两个是 tool-result clearing 与 memory)。

三种压缩策略


graph TD

    A["原始工具输出"] --> B["① 带约束 LLM 摘要<br/>保留关键数据/删冗余"]

    A --> C["② 句子级评分<br/>按 query 留 top 20%"]

    A --> D["③ 层次化摘要<br/>句→章→元摘要"]

    B --> E["高信号摘要进上下文"]

    C --> E

    D --> E

工程实践

  • 带约束 LLM 摘要:「请压缩,保留错误类型/位置/建议修复,控制在 200 字内」。

  • 句子级评分:小模型给每句打分,按与当前 query 的相关度留前 20%。

  • 层次化摘要:句摘要→章摘要→元摘要,逐级蒸馏。

  • 可恢复压缩:完整原始结果 dump 到本地 JSONL「黑匣子」,要精确细节时模型主动读回(见 compact 总结)。

优劣势

  • ✅ 砍掉噪声、省 token、提准确率;长会话可持续跑。

  • ❌ 有损——摘要可能丢关键细节;压缩提示词要针对你的负载调,否则「压错了比不压更糟」。

核心要点

概念一句话
摘要压缩工具结果先榨成摘要再进上下文
三种策略LLM 摘要 / 句子评分 / 层次化
关键只留决策需要的信号
兜底原始结果落黑匣子,可恢复

最新研究与企业数据

  • 官方概念(一手):Anthropic Cookbook《memory, compaction, and tool clearing》把 compaction 定义为「把上下文窗口蒸馏成高保真摘要,让长对话以最小性能损失继续」,并确认 Claude Code 在生产中用 compaction 处理长会话(来源:Anthropic Cookbook)。

  • Anthropic 原则(一手):context 是有限资源,compaction 是核心杠杆之一(来源:Anthropic Effective Context Engineering)。

  • 「砍掉 50–75% token / 准确率提升 15–30%」具体数字(待核实):原始文件引用的该区间来自阿里云 2026 等次级来源,未见一手受控实验,建议以自家负载实测为准。

学习资源

速记卡(面试闪卡)

Q1:一句话讲清「摘要压缩:工具吐 500 行日志,先榨成 5 行再给模型」到底是什么?

A:摘要压缩把工具返回的长内容先压成高信号摘要再进上下文,不把原始噪声直接拍给模型。

Q2:核心观点 —— 怎么理解?

A:像先看 80 页报告结论再翻细节:模型更挑,原始噪声淹没信号还多付 token(Summarization / Compaction,摘要压缩)。

Q3:定义 / 原理 / 实践 / 示例 / 优劣势 —— 怎么理解?

A:像三种榨汁法:带约束 LLM 摘要、句子级评分留 top20%、层次化逐级蒸馏(Hierarchical Summarization,层次化摘要)。

Q4:核心要点 —— 怎么理解?

A:像只留决策要的料:三种策略 LLM/评分/层次化,原始结果落”黑匣子”可恢复(Black Box,黑匣子)。

Q5:最新研究与企业数据 —— 怎么理解?

A:像官方盖章:Anthropic 把 compaction 列为长程 Agent 三大上下文杠杆之一,Claude Code 生产在用(Context Engineering,上下文工程)。

Q6:核心速记主线有哪些?

  • 核心观点:工具结果先榨摘要再进上下文,省 token 提准确

  • 三种策略:LLM 摘要 / 句子评分 / 层次化

  • 兜底:原始结果落黑匣子,要细节可恢复

  • 定位:compaction 是长程 Agent 上下文三大杠杆之一

口诀

A:工具吐料先榨汁,

五百行变五行字;

三种策略按需取,

黑匣子存可找回。

相关链接

下一篇长任务重注入——摘要压缩讲完,下篇讲「长任务跑到一半,把关键约束再念一遍」。


参考来源(一手链接 · 可溯源深挖)