更多推理计算应该花在何处?
在串行思考、并行候选与验证之间分配预算。
内容修订 4 · 2026-10-24
I05 · 修订 1 · 2026-10-21
- 给定任务与预算
- 串行:更长求解
- 并行:多条候选
- 验证、选择与停止
问题从哪里来
模型参数固定后,回答阶段仍可改变投入的计算。难题可能受益于更长求解过程或多候选搜索,但简单问题未必值得同样预算。2024 年研究将预算分配和问题难度联系起来,产品也开始提供思考预算。
关键机制
串行计算延长单条求解轨迹;并行计算产生多条候选;验证器或重排序决定选哪条。预算必须同时包含候选生成与评分,而不是只数最终返回的 token。不同难度、模型和验证器会产生不同的最优分配。
C_total = Σ C_generate(candidateᵢ) + C_verify + C_select
算例与证据
教学对照:8 条短候选与 1 条长轨迹可能具有相近 token 预算,但关键路径延迟与错误相关性不同。o1、Claude 3.7 和 Qwen3 公开了不同形式的推理/思考能力;不能推断它们内部使用同一种搜索。
收益之外的新约束
更多计算可能反复强化错误。验证器不可靠时,多候选选择还可能挑中迎合评分的答案。应按任务画质量—成本—延迟曲线,并设置停止规则;没有一个通用“思考越久越好”的结论。
原始来源
- Scaling LLM Test-Time Compute Optimally · 2024-08-06 · 核对 2026-10-21
- Learning to reason with LLMs · 2024-09-12 · 核对 2026-10-21
- Claude 3.7 Sonnet and Claude Code · 2025-02-24 · 核对 2026-10-21
- Qwen3 · 2025-04-29 · 核对 2026-10-21
启用脚本后可使用手动本地阅读记录和交互计算器。