概述
Reflexion 是一种利用语言反馈（verbal reinforcement）帮助 LLM Agent 从先前失败中学习的技术。它在 react-reasoning-and-acting 等行动框架之上增加了自反思能力，使 Agent 能通过迭代的失败分析来改进。
要点
三个 LLM 角色
- 执行者（Actor） — 根据状态观察选择并执行行动（可使用 CoT 或 ReAct）
- 评估者（Evaluator） — 对执行者产生的输出进行评分
- 自反思者（Self-reflection） — 对执行者的行动和评估者的评分进行反思
记忆架构
- 短期记忆 — 追踪当前的行动序列
- 长期记忆 — 存储过去尝试中的自反思
这些记忆模块帮助 Agent 从错误中学习，并在未来尝试中识别改进的行动。
与强化学习的关系
Reflexion 的结构与强化学习非常相似——评估者的”奖励信号”引导 Agent 走向更好的行为。关键区别在于”奖励”是语言/语义层面的，而非数值型的。
开放问题
- 需要多少轮反思才会出现收益递减
- 自反思质量是否会随模型规模下降
- 与数值型 RL 奖励信号的比较
证据时间线
- 2026-08-21: 从 Grootendorst 指南创建；引用 Shinn et al. (2023)