多 Agent 幻觉放大问题
单个 Agent 的幻觉已经够头疼了;多 Agent 系统中,一个 Agent 的错误结论可能被其他 Agent 当作事实引用,导致错误级联放大。
什么是幻觉放大?
信息链传递错误
Agent A: "根据我的研究,X 公司的收入是 100 亿"
↓ (这个数据是幻觉,实际是 50 亿)
Agent B: "基于 X 公司 100 亿收入,建议投资..."
↓ (错误数据被当作事实)
Agent C: "投资建议:X 公司估值偏低,强烈推荐买入"
问题:Agent B 和 C 不知道 Agent A 的数据是错误的,基于错误前提做出了决策。
幻觉放大的根源
| 根源 | 说明 |
|---|---|
| 缺乏事实验证 | Agent 之间没有交叉验证机制 |
| 信任传递 | 后续 Agent 默认信任上游 Agent 的输出 |
| 置信度不透明 | 无法区分高置信和低置信的信息 |
| 上下文污染 | 错误信息进入共享上下文,影响所有 Agent |
解决方案
1. 信息源标注
message = {
"content": "X 公司收入 100 亿",
"source": "web_search",
"confidence": 0.8,
"evidence": ["https://example.com/report"]
}
2. 交叉验证
| 策略 | 说明 |
|---|---|
| 多源验证 | 同一事实从多个 Agent 独立获取 |
| 置信度阈值 | 低于阈值的信息标记为”待验证” |
| 矛盾检测 | 多个 Agent 给出不同答案时触发审查 |
3. 回溯机制
检测到矛盾时:
1. 标记可疑信息
2. 回溯到信息源头
3. 请求 Agent A 提供证据
4. 无法验证 → 丢弃该信息
4. 人机协同
| 场景 | 处理方式 |
|---|---|
| 高风险决策 | 必须人工确认 |
| 矛盾信息 | 呈现给用户选择 |
| 低置信结果 | 标注”仅供参考” |
速记卡(面试闪卡)
Q1:一句话讲清「多 Agent 幻觉放大问题」到底是什么?
A:多 Agent 幻觉放大:一个 Agent 的错被其他 Agent 当事实接力放大。
Q2:什么是幻觉放大? —— 怎么理解?
A:Agent A 幻觉”收入100亿”,B 当真建议投资,C 强烈买入——错误像传话游戏一路放大。单个 Agent 犯错够糟,多 Agent 里错误被当事实引用,形成错误级联(Error Cascading)。
Q3:幻觉放大的根源 —— 怎么理解?
A:四个坑:缺乏事实验证(Agent 间不交叉对质)、信任传递(下游默认信上游)、置信度不透明(分不清高/低置信)、上下文污染(错误信息进共享上下文祸及全员)。根因是没人喊”等等,这数据对吗”。
Q4:解决方案:信息源标注与交叉验证 —— 怎么理解?
A:每句话贴标签:content+source+confidence+evidence(像快递单注明出处)。交叉验证三招:多源独立获取、置信度阈值标”待验证”、矛盾检测触发审查。Confidence Score(置信度评分)让真假有谱。
Q5:回溯机制与人机协同 —— 怎么理解?
A:发现矛盾就回溯到源头,让 A 补证据,验证不了就丢弃——Traceability(可追溯)兜底。高风险决策必须人工确认,矛盾信息抛给用户选,低置信标”仅供参考”。人机协同(Human-in-the-loop)兜最后一关。
Q6:核心速记主线有哪些?
-
幻觉会沿 Agent 链级联放大
-
根因:无验证+信任传递+污染
-
标注来源+交叉验证+置信阈值
-
回溯溯源+人机协同兜底
口诀
A:一个出错众接棒,
源头不验全上当;
标注交叉加回溯,
人机兜底错不长。
相关链接
快速问答
| 问题 | 参考答案 |
|---|---|
| 什么是多 Agent 幻觉放大? | 一个 Agent 的错误结论被其他 Agent 当作事实引用,导致错误级联放大 |
| 如何防止幻觉放大? | 信息源标注、交叉验证、置信度阈值、回溯机制、人机协同 |