概述

String Seed of Thought(SSoT,字符串思维种子)是 sakana-ai 的纯提示方法(Kou Misaki、takuya-akiba,2026 年 4 月):模型先生成一段随机字符串,再在上下文里对它做运算,据此做出随机选择。针对直接提示的两类失败——按给定分布采样却有偏(PIF),以及开放生成多样性塌缩(DAG)。不需要工具、伪随机数发生器,也不额外训练。

要点

问题

前沿 LLM 经常做不好「抛一枚公平硬币」以及类似的 n 选 1 提示:即便用温度采样,经验频率也偏离指令分布。同样的偏差出现在混合策略博弈(扑克虚张声势、猜拳纳什)。开放式提示也会塌缩到少数高先验答案。

方法

多两条指令:在 <random_string> 标签里生成复杂随机串;在 <thinking> 里用它驱动随机决策;最终答案放进 <answer>。提示不规定具体算术,模型自己发明。

推理轨迹里观察到的机制

  • PIF / 均匀: Sum-Mod — sum(ASCII) mod n_choices
  • PIF / 有偏: Rolling Hash — hash = (hash * 31 + ASCII) mod M,再按阈值切开,表达 30/70 这类比例
  • DAG: 模板生成 — 把输出拆成槽位(场景、性格、冲突、寓意……),对字符串不同片段做 Sum-Mod 来填每个槽

博客报告的结果(论文 arXiv:2510.21150)

  • PIF 指标:JS 散度;每组 100 次 × 重复 10 组;均匀与有偏 n 选
  • 测试的 5 个前沿模型上 SSoT 都降低偏差;DeepSeek-R1 接近 PRNG 参照,并在动作空间 2–64 上优于高温、few-shot、集成与序列采样
  • 例外:QwQ-32B 无偏二选一 — 基线已接近 PRNG(JS×10⁻³ = 2.43);SSoT 略差(3.39)
  • 猜拳对 10 个会利用历史的「黑带」机器人:SSoT 得分集中在 0 附近;只说纳什却不给随机机制、以及「尽量变化」的提示仍可被剥削
  • NoveltyBench(k=8):curated 与 WildChat 上整体 Distinct 最高;Utility 也高于基线,但部分 curated 类别(产品推荐、观点)的 Utility 仍被改写/高温采样领先

局限

  • 需要足够推理能力去发明并执行模运算/哈希;小模型更弱
  • 对单一正确答案任务(数学、事实)有害——额外随机会分心
  • CoT 缩放:更长推理痕迹与更忠实的 PIF 相关,可用额外推理 token 换保真度(reasoning-shift / chain-of-thought / 测试时计算)
  • 本页来自公开博客,不是通读论文。页面上的数值表是图,未逐格抄录

开放问题

  • 收益有多少来自随机串本身,有多少来自 SSoT 强迫的额外思考预算?
  • harness 里已有真正的 PRNG 工具时,SSoT 还有没有用?(方法卖点是头脑内采样)
  • QwQ-32B 二选一之外的失败模式——论文声称有分析,此处未摄入

证据时间线

相关页面

sakana-ai, kou-misaki, takuya-akiba, chain-of-thought, llm-agents, reasoning-shift