概述
Chain-of-Thought(CoT,思维链)是一种提示和训练技术,使 LLM 能够在给出最终答案之前,将复杂问题分解为中间推理步骤。它是 LLM Agent 规划行为的基础。
要点
提示方法
- Few-shot CoT:在提示中提供逐步推理的示例(Wei et al., 2022)
- Zero-shot CoT:只需附加”让我们一步步思考”即可触发推理(Kojima et al., 2022)
训练方法
- 监督微调:在包含类思维推理示例的数据集上训练
- 强化学习:使用奖励引导模型发现自身的思考过程(如 DeepSeek-R1)
在 Agent 中的角色
CoT 实现了 LLM Agent 的规划组件——在采取行动之前推理应执行哪些步骤的能力。没有 CoT,Agent 只能遵循固定的工具使用模式,而无法动态规划行动。
与采样提示的关系
string-seed-of-thought 把额外思维预算用在另一类问题上:不是求解唯一答案,而是先生成随机串再做模运算/哈希,使模型按给定分布采样。Sakana 报告更长 CoT 与更忠实的概率指令遵循相关;在数学/事实题上同一手法会分心。
局限性
CoT 本身是纯推理——不与环境交互。react-reasoning-and-acting 等技术将推理与行动结合,才能实现真正的 Agent 行为。
开放问题
- LLM 的”思考”是真正的推理还是复杂的模式匹配
- 推理质量如何随模型规模和训练数据扩展
- reasoning-shift:推理链在非隔离上下文中显著缩短
证据时间线
- 2026-08-21: 从 Grootendorst 可视化指南创建;引用 Wei et al. (2022) 和 Kojima et al. (2022)
- 2026-09-04: 交叉引用 string-seed-of-thought(Sakana SSoT:CoT 用于 in-head 采样而非求解)