概述
Toolformer 是一种被训练来决定调用哪些 API 以及如何调用的模型，是最早专门训练 LLM 使用工具（而非仅通过提示引导）的技术之一。
要点
机制
- 使用
[和]token 标记工具调用的开始和结束 - 生成时，模型产生 token 直到遇到
[，然后生成工具调用直到→（停止生成） - 工具执行，输出被追加到已生成的 token 中
]符号通知 LLM 可以带着工具结果继续生成
训练流程
- 为每个工具手动创建 few-shot 提示
- 采样使用这些工具的输出
- 按以下标准过滤输出：工具使用正确性、输出正确性、loss 下降
- 用过滤后的数据集微调 LLM
后续影响
Toolformer 启发了许多后继者：
- ToolLLM（Qin et al., 2023）— 能使用数千个工具的 LLM
- Gorilla（Patil et al., 2023）— 能检索最相关工具的 LLM
当前大多数 LLM（截至 2025 年）都已通过 JSON 生成来调用工具，建立在 Toolformer 的基础之上。
开放问题
- 工具使用训练如何与其他能力交互
- LLM 能可靠选择的最优工具数量
证据时间线
- 2026-08-21: 从 Grootendorst 指南创建；引用 Schick et al. (2023)