华人研讨团队揭秘：DeepSeek

选自oatllm.notion.site呆板之心编译编译：杜伟、蛋酱自我反思（尤其是浮浅的）偶然对模子机能的助益不年夜。在从前这半个月里，对于 DeepSeek 的所有都市敏捷成为核心。一项十分鼓励民气的发明是：DeepSeek-R1-Zero 经由过程纯强化进修（RL）实现了「顿悟」。在谁人霎时，模子学会了自我反思等出现技巧，辅助它停止高低文搜寻，从而处理庞杂的推理成绩。在 R1-Zero 宣布后的短短多少天内，持续多少个名目都在较小范围（如 1B 到 7B）上自力「复制」了相似 R1-Zero 的练习，而且都察看到了「顿悟时辰」，这种时辰平日随同着呼应长度的增添。原文链接：https://oatllm.notion.site/oat-zero近来，来改过加坡 Sea AI Lab 等机构的研讨者再次梳理了类 R1-Zero 的练习进程，并在一篇博客平分享了三项主要发明：1. 在相似 R1-Zero 的练习中，可能并不存在「顿悟时辰」。相反，咱们发明「顿悟时辰」（如自我反思形式）呈现在 epoch 0，即基本模子中。2. 他们从基本模子的呼应中发明了浮浅的自我反思（SSR），在这种情形下，自我反思并纷歧定会招致准确的终极谜底。3. 细心研讨经由过程 RL 停止的类 R1-Zero 的练习，发明呼应长度增添的景象并不是由于呈现了自我反思，而是 RL 优化计划精良的基于规矩的嘉奖函数的成果。以下是博客的内容：Epoch 0 的顿悟时辰试验设置如下：基本模子。咱们研讨了由差别构造开辟的种种基本模子系列，包含 Qwen-2.5、Qwen-2.5-Math、DeepSeek-Math、Rho-Math 跟 Llama-3.x。提醒模板。咱们应用 R1-Zero 跟 SimpleRL-Zero 中应用的模板直接提醒基本模子：模板 1（与 R1-Zero 雷同）模板 2（与 SimpleRL-Zero 雷同）数据。咱们从 MATH 练习数据会合网络了 500 道题，这些题同一涵盖了五个难度级别跟全部科目，用于添补上述模板中的 {Question}。天生参数。咱们在 0.1 至 1.0 之间对摸索参数（温度）停止网格搜寻，以便对选定的成绩停止模子推理。在全部试验中，Top P 设置为 0.9。咱们为每个成绩天生 8 个答复。教训成果咱们起首实验了全部模子跟提醒模板（模板 1 或模板 2）的组合，而后依据每个模子的指令遵守才能为其抉择了最佳模板，并将其牢固用于全部试验。得出以下论断：发明：「顿悟时辰」呈现在 Epoch 0。咱们察看到，全部模子（除了 Llama-3.x 系列）在不任何前期练习的情形下就曾经表示出了自我反思形式。咱们鄙人表中列出了全部察看到的标明自我反思形式的要害词。请留神，该列表可能并不细致。这些要害词都是经由人工验证的，「等候」等词被过滤失落了，由于它们的呈现并纷歧定象征着自我反思，而可能是幻觉的成果。咱们留神到，差别的模子会表现与自我反思相干的差别要害词，咱们假设这是受其预练习数据的影响。图 1a 展现了在差别基本模子中激发自我反思行动的成绩数目。成果标明，在差别的温度下都能察看到自我反思行动，此中一个趋向是，温度越高，在 epoch 0 呈现「顿悟时辰」的频率越高。图 1b 展现了差别自我反思要害词的呈现次数。咱们能够察看到，Qwen2.5 系列的基本模子在发生自我反思行动方面最为活泼，这也局部说明了为什么年夜少数开源的 R1-Zero 复现都是基于 Qwen2.5 模子。图 1a. 在差别基本模子中，500 道数学识题中激发自我反思行动的成绩数目。图 1b. 40,000 个答复中呈现的要害词数目（500 个成绩 × 每个成绩 8 个答复 × 10 个温度）。在确认「顿悟时辰」确切是在不任何练习的情形下呈现在 epoch 0 后，咱们想晓得它能否如咱们所冀望的那样 —— 经由过程自我反思来改正过错推理。因而，咱们直接在 Qwen2.5-Math-7B 基本模子上测试了 SimpleRL-Zero 博客中应用的例题。令人惊奇的是，咱们发明基本模子曾经表示出了公道的自我改正行动，如图 2 所示。图 2. 咱们直接在 Qwen2.5-Math-7B 基础模子上测试了 SimpleRL-Zero 博客中讲演的统一成绩，发明「顿悟时辰」曾经呈现。浮浅的自我反思只管图 2 中的示例表现了基本模子经由过程自我修改 CoT 直接处理庞杂推理成绩的宏大潜力，但咱们发明并非全部来自基本模子的自我反思都无效，也并不总能带来更好的处理计划。为了便于探讨，咱们将它们称为浮浅的自我反思（Superficial Self-Reflection，SSR）。就其界说而言，浮浅的自我反思（SSR）是手印型呼应中缺少建立性修正或改良的重评价形式。与不自我反思的呼应比拟，SSR 纷歧定会带来更好的谜底。案例研讨为了进一步懂得 SSR，咱们停止结案例研讨，并察看到 Qwen-2.5-Math-7B 基本模子呼应中的四种自我反思形式：行动 1：自我反思，重复检讨以确认准确谜底（图 3a）；行动 2：自我反思，改正最初过错的主意（图 3b 跟图 2）；行动 3：自我反思，在底本准确的谜底中引入过错（图 3c）；行动 4：重复自我反思，但未能得出无效谜底（图 3d）。此中， 行动 3 跟行动 4 是浮浅的自我反思，招致终极谜底不准确。基本模子轻易呈现 SSR接上去，咱们剖析了 Qwen2.5-Math-1.5B 准确跟过错谜底中自我反思要害词的呈现情形。正如图 4 所示，在差别的采样温度下，年夜少数自我反思（以频率权衡）都不失掉准确谜底。这标明基本模子轻易发生浮浅的自我反思。图 4：准确跟过错谜底中的自我反思次数。蓝色条表现准确谜底中自我反思要害词的总呈现次数，而白色条表现过错谜底中自我反思要害词的总呈现次数。深刻探究类 R1-Zero 练习固然模子呼应长度的忽然增添平日被视为类 R1-Zero 练习中的顿悟时辰，但正如博客 Section 1 中的研讨成果标明：即便不 RL 练习，这种顿悟时辰也可能产生。因而，这天然引出了一个成绩：为什么模子呼应长度遵守一种奇特的形式，即在练习初期增加，而后在某个点激增？为了研讨这一点，咱们经由过程以下两种方式来研讨类 R1-Zero 练习：在倒计时（Countdown）义务上复制 R1-Zero 以剖析输出长度静态；在数学识题上复制 R1-Zero 以研讨输出长度与自我反思之间的关联。长度变更是 RL 静态的一局部咱们应用了支撑类 R1-Zero 练习的 oat（一个研讨友爱的 LLM 在线对齐框架），以应用 GRPO 算法在倒计时义务（TinyZero 所用）上对 Qwen-2.5-3B 基本模子停止 RL 调剂。在该义务中，模子被付与三到四个数字，并被请求应用算法运算（+、-、x、÷）来天生目的等式。如许弗成防止地须要模子重试差别的计划，因而须要自我反思行动。图 5 右表现了全部 RL 练习进程中嘉奖跟呼应长度的静态。与 TinyZero 跟 SimpleRL-Zero 相似，咱们察看到嘉奖连续增添，而长度先增加而后激增，现有任务将此归因于顿悟时辰。但是，咱们察看到重试形式曾经存在于基本模子的呼应中（Section 1），但此中很多都是浮浅的（Section 2 ），因而嘉奖很低。在初始进修阶段，咱们剖析了基于规矩的嘉奖塑造对 RL 静态跟呼应长度变更的影响。图 5（左）依据嘉奖将模子呼应分为了三个差别的组：这种简略的剖析提醒了一些对于 RL 静态的看法：在 88 步之前的练习以塑造嘉奖 (r=0.1) 为主，经由过程调剂模子使其在天生 token 估算内结束并在 块内格局化谜底，从而能够更轻松地停止优化。在此时期，漫长的过错呼应遭到克制，均匀呼应长度急剧降落。在第 88 步，模子开端经由过程输出更多重试（retries）来「爬上嘉奖山」，朝着更高的嘉奖（r=1 表现准确性）攀缘。因而，咱们察看到准确呼应的长度增添。随同而来的反作用是，模子输出更多漫长的浮浅自我反思，招致均匀呼应长度激增。全部 RL 进程是将底本浮浅的自我反思改变为无效的自我反思，以最年夜化预期嘉奖，从而进步推理才能。输出长度跟自我反思可能并不相干依照 SimpleRL-Zero 的设置，咱们应用 8K MATH 提醒练习 Qwen2.5-Math-1.5B。在练习开端时，咱们察看到输出长度增加，直到大概 1700 个梯度步，长度才开端增添（图 6）。但是，自我反思要害词的总数并不表示出图 7 所示的与输出长度的枯燥关联。这标明单凭输出长度可能不是模子自我反思才能的牢靠指标。图 6：应用 8K MATH 提醒的 Qwen2.5-Math-1.5B 练习静态。咱们讲演了 MATH500 上的测试正确率跟均匀呼应长度。图 7：练习时期自我反思要害词的总数。在咱们应用的单节点效劳器上，完全练习进程大概须要 14 天，现在仍在停止中（进度相称于 SimpleRL-Zero 中的 48 个练习步）。咱们将在实现后供给更具体的剖析。