概述

Chain-of-Thought(CoT,思维链)是一种提示和训练技术,使 LLM 能够在给出最终答案之前,将复杂问题分解为中间推理步骤。它是 LLM Agent 规划行为的基础。

要点

提示方法

  • Few-shot CoT:在提示中提供逐步推理的示例(Wei et al., 2022)
  • Zero-shot CoT:只需附加”让我们一步步思考”即可触发推理(Kojima et al., 2022)

训练方法

  • 监督微调:在包含类思维推理示例的数据集上训练
  • 强化学习:使用奖励引导模型发现自身的思考过程(如 DeepSeek-R1)

在 Agent 中的角色

CoT 实现了 LLM Agent 的规划组件——在采取行动之前推理应执行哪些步骤的能力。没有 CoT,Agent 只能遵循固定的工具使用模式,而无法动态规划行动。

与采样提示的关系

string-seed-of-thought 把额外思维预算用在另一类问题上:不是求解唯一答案,而是先生成随机串再做模运算/哈希,使模型按给定分布采样。Sakana 报告更长 CoT 与更忠实的概率指令遵循相关;在数学/事实题上同一手法会分心。

局限性

CoT 本身是纯推理——不与环境交互。react-reasoning-and-acting 等技术将推理与行动结合,才能实现真正的 Agent 行为。

开放问题

  • LLM 的”思考”是真正的推理还是复杂的模式匹配
  • 推理质量如何随模型规模和训练数据扩展
  • reasoning-shift:推理链在非隔离上下文中显著缩短

证据时间线

  • 2026-08-21: 从 Grootendorst 可视化指南创建;引用 Wei et al. (2022) 和 Kojima et al. (2022)
  • 2026-09-04: 交叉引用 string-seed-of-thought(Sakana SSoT:CoT 用于 in-head 采样而非求解)