更短的推理，更早的答案？——推理接口评估 · Shorter Reasoning, Earlier Answers? An Evaluation of Reasoning Interfaces

大语言模型的推理轨迹越来越长，直接推高了成本和延迟，业界因此出现大量"缩短推理"的方案——有的是提示层面要求模型简洁作答，有的是训练阶段就内置"努力程度"档位（如低/中/高努力）。但作者指出一个被忽视的评估陷阱：如果只看"总耗时缩短了多少"或"最终准确率变化了多少"，很容易把"模型提前中断思考"误判为"推理效率真正提升"。二者的根本区别在于：真正的效率提升是在同样的时间预算下获得更高质量的答案；而虚假的"效率提升"只是让模型更早喊停，答案质量本身并没有改善，甚至可能只是运气好蒙对。论文因此提出，评估缩短推理的方法时，必须在匹配的推理"时长节点"（time-matched checkpoints）上做配对比较，而不能只看端到端的平均耗时和平均准确率。

作者在 GPQA Diamond（198题）和 MMLU-Pro（500题）两个高难度推理基准上做配对实验，对比两类"缩短推理"的路径：

路径一（提示层面）：对 Qwen3-14B 使用数字化/简洁化的提示词，明确告知模型 token 预算或要求它尽快、简明地作答，属于推理时（inference-time）的行为引导，模型权重未变。

路径二（训练层面）：对 gpt-oss-20b 和 gpt-oss-120b 使用模型训练阶段就内置的"努力程度"（effort）设置——低/中/高努力档位，属于模型在训练时就学会了如何在不同预算下组织推理内容，而非单纯地被外部提示打断。

核心实验设计是在匹配的 token 长度/时间节点上，比较不同方法产生的中间答案质量，而不是只比较任务完成后的终局准确率。这样可以剥离"模型只是被迫提前喊停"与"模型真正学会了高效推理"两种情况。作者还额外统计了模型对候选答案分配的概率质量（probability mass），用以判断提前给出的答案是"自信且正确"，还是"侥幸蒙中"。

两类方法呈现出明显不同的行为特征：

提示层面（Qwen3-14B）：简洁提示能将推理轨迹压缩 12%-17%，但在匹配 token 预算下，准确率变化幅度小且不稳定——有的设置下反而在 512 token 节点上带来约 3.8 个百分点的 MMLU-Pro 准确率提升，但这种收益并不总能复现，说明提示引导的效果高度依赖具体设置，不是可靠的效率来源。

训练层面（gpt-oss-20b / -120b）：在同等推理时长下，低/中努力档位跑完推理后给出的候选答案，比高努力档位在同样时长处被截断得到的答案，准确率高出 14.5-26.3 个百分点——差距远大于提示方法的收益。这说明训练阶段就学会"用更少步骤组织推理"的模型，比单纯被外部要求提前收尾的模型效率高得多。

此外，作者发现一个值得警惕的现象：当模型给出错误的早期答案时，其概率质量往往仍然高度集中在这个（错误）选项上——也就是说，"提前停止"并不会伴随模型自身不确定性的提高，模型可能"自信地错了"，这使得仅凭截断时的表面自信程度无法可靠判断答案质量。

这篇论文对 duplex agent（全双工实时交互）方向有直接的参考价值——它本质上是在量化"推理天花板 vs 响应速度"这个权衡的具体代价。全双工场景下，agent 必须在深度推理（Thinking Layer）与实时响应（Interaction Layer）之间做取舍：什么时候可以先给出一个"够用"的早期答案，什么时候必须让推理完整跑完。这篇论文的数据给出了两点启示：

第一，"如何让模型变快"这件事本身有优劣之分。论文证明单纯用提示词让模型"说话简洁点"（这近似于 duplex 系统里对生成过程做外部截断或提示引导）带来的效率收益很有限且不稳定；而训练阶段就内置的努力度控制机制，在匹配的时间预算下能显著保留更多准确率。这提示 duplex agent 系统如果想做到"实时中断仍然靠谱"，更可靠的路径可能是训练一个具备原生分档推理能力的模型，而不是依赖运行时提示或强制截断已经在跑的长链推理。

第二，"提前停止≠模型知道自己不确定"这一发现尤其值得警惕。在 duplex 交互中，系统常常需要依据某种置信度信号来决定是否要打断推理、提前应答用户——但这篇论文指出，模型在被截断/提前给出错误答案时，其概率分布仍可能高度自信、集中在错误选项上。这意味着仅凭模型自身输出的置信度或概率质量，并不足以作为"是否应该在此刻中断推理并回应用户"的可靠依据，duplex agent 的 Interaction Layer 若想做出高质量的中断决策，可能需要额外的、独立于生成概率之外的质量估计信号（例如外部验证器或专门训练的中断决策头），而不能简单信任模型自己"看起来自信"的状态。