概述
String Seed of Thought(SSoT,字符串思维种子)是 sakana-ai 的纯提示方法(Kou Misaki、takuya-akiba,2026 年 4 月):模型先生成一段随机字符串,再在上下文里对它做运算,据此做出随机选择。针对直接提示的两类失败——按给定分布采样却有偏(PIF),以及开放生成多样性塌缩(DAG)。不需要工具、伪随机数发生器,也不额外训练。
要点
问题
前沿 LLM 经常做不好「抛一枚公平硬币」以及类似的 n 选 1 提示:即便用温度采样,经验频率也偏离指令分布。同样的偏差出现在混合策略博弈(扑克虚张声势、猜拳纳什)。开放式提示也会塌缩到少数高先验答案。
方法
多两条指令:在 <random_string> 标签里生成复杂随机串;在 <thinking> 里用它驱动随机决策;最终答案放进 <answer>。提示不规定具体算术,模型自己发明。
推理轨迹里观察到的机制
- PIF / 均匀: Sum-Mod —
sum(ASCII) mod n_choices - PIF / 有偏: Rolling Hash —
hash = (hash * 31 + ASCII) mod M,再按阈值切开,表达 30/70 这类比例 - DAG: 模板生成 — 把输出拆成槽位(场景、性格、冲突、寓意……),对字符串不同片段做 Sum-Mod 来填每个槽
博客报告的结果(论文 arXiv:2510.21150)
- PIF 指标:JS 散度;每组 100 次 × 重复 10 组;均匀与有偏 n 选
- 测试的 5 个前沿模型上 SSoT 都降低偏差;DeepSeek-R1 接近 PRNG 参照,并在动作空间 2–64 上优于高温、few-shot、集成与序列采样
- 例外:QwQ-32B 无偏二选一 — 基线已接近 PRNG(JS×10⁻³ = 2.43);SSoT 略差(3.39)
- 猜拳对 10 个会利用历史的「黑带」机器人:SSoT 得分集中在 0 附近;只说纳什却不给随机机制、以及「尽量变化」的提示仍可被剥削
- NoveltyBench(k=8):curated 与 WildChat 上整体 Distinct 最高;Utility 也高于基线,但部分 curated 类别(产品推荐、观点)的 Utility 仍被改写/高温采样领先
局限
- 需要足够推理能力去发明并执行模运算/哈希;小模型更弱
- 对单一正确答案任务(数学、事实)有害——额外随机会分心
- CoT 缩放:更长推理痕迹与更忠实的 PIF 相关,可用额外推理 token 换保真度(reasoning-shift / chain-of-thought / 测试时计算)
- 本页来自公开博客,不是通读论文。页面上的数值表是图,未逐格抄录
开放问题
- 收益有多少来自随机串本身,有多少来自 SSoT 强迫的额外思考预算?
- harness 里已有真正的 PRNG 工具时,SSoT 还有没有用?(方法卖点是头脑内采样)
- QwQ-32B 二选一之外的失败模式——论文声称有分析,此处未摄入
证据时间线
- 2026-04: Sakana AI 博客 + 论文(arXiv:2510.21150,OpenReview luXtbX1lVK)
- 2026-09-04: 从 https://pub.sakana.ai/ssot/ 摄入
相关页面
sakana-ai, kou-misaki, takuya-akiba, chain-of-thought, llm-agents, reasoning-shift