开云(中国)kaiyun网页版登录入口并在不同禁止条目下评估这两种轨范的发扬-Kaiyun网页版·「中国」开云官方网站 登录入口
让推理模子不要想考，得到的终结反而更准确？
UC 伯克利新策划发现，强制要求模子跳过想考历程，推理才能却比普通想考还好。
举例在定通晓释任务当中，"不想考"模式仅使用 30% 的 Token，就能竣事和完整想考相同的准确率。
相等是施加 Token 截止之后，"不想考"模式的成果变得愈加明显。
这究竟是怎样一趟事呢？来看下 UC 伯克利发表的论文。
跳过想考，推理模子反而更强了
论文的策划宗旨，是比拟显式想考历程（Thinking）和跳过想考历程（NoThinking）的成果各别，并在不同禁止条目下评估这两种轨范的发扬。
策划使用 DeepSeek-R1-Distill-Qwen-32B 行为主要现实模子，该模子通过在 Qwen-32B 基础上使用 DeepSeek-R1 生成的数据进行蒸馏得到。
为了确保终结的可靠性，策划同期选拔了 Qwen-32B-Instruct 行为基线模子，并在 7B 和 14B 范围的交流架构模子上进行了考证现实。
在数据集的选拔上，策划致力全面散失不同类型的推理任务：
在数常识题方面，既包含了 AIME 2024、AIME 2025、AMC 2023 等圭臬难度的测试集，也包含了更具挑战性的 OlympiadBench 数学子集；
在编程才能评估方面，使用了抓续更新的 LiveCodeBench v2 版块；
在定通晓释畛域，则通过 MiniF2F 测试样式化数学推理才能，通过 ProofNet 评估逻辑和定通晓释才能。
现实领先进行了基础性能评估，也即是在不截止 token 的情况下比拟三种轨范的发扬。策划团队矜重记载了每种轨范在不同 k 值下的 pass@k 性能发扬和 token 使用量。
终结显现，在无预算截止的情况下，NoThinking 在定通晓释任务上大约以 30% 的 token 用量达到与 Thinking 相似的性能，两种轨范齐明显优于基线模子。
在其他任务上，诚然 NoThinking 的运行 pass@1 性能较低，但跟着 k 值加多会慢慢追平 Thinking 的发扬，同期 token 使用量减少
随后，现实引入了预算强制，通过成立 token 截止来进行对照现实。
具体来说，当模子达到预设的 token 预算时，系统会强制其生成最终谜底，如若此时模子仍在想考框内，则会在最终谜底标签前添加终结想考标志。
策离别别在低预算（约 3000tokens 以下）和高预算（约 3500tokens）两种场景下进行了矜重测试。
在预算受限的场景下，NoThinking 在低预算情况下（
在高预算场景下（~3500 tokens），尽管 Thinking 在 pass@1 上略有上风，NoThinking 从 k=2 开端就展现出更好的性能。
在并行推广测试中，策划左证任务特色摄取了不同的评估轨范。
关于有好意思满考证器的任务（如样式定通晓释），不错平直使用考证器选拔最好谜底，并矜重记载蔓延和 token 使用量；
关于莫得考证器的任务，策划竣事了大齐投票机制和基于置信度的选拔战略，通过现实比拟了不同选拔战略的成果。
关于具有考证器的任务，NoThinking 不错在将蔓延裁汰至 1/7、token 使用量减少至 1/4 的同期，保抓与传统轨范相似的准确率。
在莫得考证器的任务中，比如 AMC 2023 和 OlympiadBench，NoThinking 甚而卓绝了完整版 Thinking 的发扬，同期可将蔓延裁汰至 1/9。
为了幸免现实终结受到数据欺压的影响，策划团队专诚使用了新发布的 AIME 2025 数据集进行考证。
终结作家发现。交流的性能模式在新旧数据集上齐能阐明重现，这证明了策划发现反应了模子的信得过施为特征。
大模子"想考历程"引热议
Hacker News 上，有东谈主暗示这项策划让其对大模子的想考有了新的意志：
畴昔我以为大模子"想考"很有用，是因为它不错把更多的想法带到高下文当中，但当今看似乎不是？
还有东谈主预料了 Claude 厂商 Anthropic 前些天发表的施展，其中指出大模子输出的"想考历程"不一定代表其信得过想法。
这份施展的现实发现，Claude 3.7 Sonnet 仅在 25% 的情况下在其想维链中说起收到的教导信息，DeepSeek R1 则为 39%，意味着大大齐情况下模子不会诚挚反应其信得过决议历程。
Anthropic 的这份施展，引起了针对大模子"想考历程"的浓烈策划。
有东谈主暗示，想维链灵验的错误是产生了更多用于"想考"的计较，但如若用它来展示模子责任历程，那只不外是异常的高下文。
但也有东谈主以为 Anthropic 的策划并莫得切中问题要害，因为模子的教师历程即是为了得回正确谜底而优化，不成指望这么的教师花式大约让模子准确说出推理历程。
作家简介
本论文第一作家是 UC 伯克利博士生马文洁，导师是 Matei Zaharia 副栽植和 Sewon Min 助理栽植策划重心是意会和进步言语模子的推理才能，以及测试时计较。
马文洁本科毕业于南京大学计较机学院，时辰曾过问该学院的 PASCAL（编程言语与统计分析）策划组。
另别称华东谈主作家何静轩，刻下在 UC 伯克利从事博士后策划，策划兴致为机器学习和计较机安全，配合导师是宋晓冬（Dawn Song）栽植。
何静轩博士和本科分别毕业于苏黎世联邦理工学院和浙江大学。
另外，UC 伯克利博士生 Charlie Snell、Tyler Griggs，以及一作马文洁的两名导师也参与了此项策划。
论文地址：
https://arxiv.org/abs/2504.09858
参考纠合：
[ 1 ] https://www.anthropic.com/research/reasoning-models-dont-say-think
[ 2 ] https://news.ycombinator.com/item?id=43572374
一键三连「点赞」「转发」「留心心」
接待在琢磨区留住你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见开云(中国)kaiyun网页版登录入口
