这项由密歇根州立大学、念念科公司、明尼苏达大学以及IBM商讨院结伴开展的商讨，于2026年5月以预印本景色发布，论文编号为arXiv:2605.19282。商讨的中枢问题听起来有些绕口，但背后的故事却相称别有洞天：一个在谈话模子造就上推崇出色的优化器，为什么在机器东说念主限制和推理强化学习场景中会"翻车"，以致实足崩溃？以及，商讨团队怎样通过从新遐想一个数学器具来治理这个问题？

门径略这篇商讨，不错用"频说念滤波器"这个譬如辘集持久。收音机里有一个调频旋钮，它的作用是把你想听的阿谁频说念的信号放大，同期压制其他频说念的噪声。如若这个滤波器坏掉了，把统统频说念的信号皆一视同仁地放大，你听到的即是一锅嘈杂的混音。商讨团队发现，现存的一个流行优化器恰是这么——它把的确有用的信号和毋庸的噪声皆放大到不异的强度，在某些造就场景下制造了窒碍。他们随即遐想了一个新的"高通滤波器"版块，让有用的信号通过，同期压制噪声，遵守权贵。

一、优化器是什么，它为什么进击

在深入了解商讨内容之前，有必要先默契"优化器"在机器学习中饰演的变装。每次造就一个AI模子，本质上皆是在不竭赈济模子里面几千万乃至几百亿个参数，让模子的输出越来越接近正确谜底。优化器即是认真"奈何调"的阿谁计策——它告诉造就系统，每次应该往哪个见解赈济、赈济若干。

持久以来，一个叫AdamW的优化器占据主导地位，它对每个参数独就怕进行自妥当赈济，就像一个工场里有几千万个零丁的小曲折旋钮，每个旋钮凭据我方场所位置的情况自行决定转若干。这种样式相称纯真，但也有局限。

比年来，一类新式的"矩阵感知"优化器崭露头角。其中，Muon（全称MomentUm Orthogonalized by Newton–Schulz）是最受关爱的一个。它不再孤就怕看待每一个参数，而是把一个权重矩阵动作举座来处理，诳骗矩阵的几何结构来决定更新见解。具体来说，Muon通过一种叫作念"Newton–Schulz迭代"（NS迭代）的数学操作，把梯度矩阵的统统"见解强度"——也即是奇异值——皆妥洽赈济到疏导的大小1，这个进程被称为"均匀谱白化"。不错把它类比为一个平衡器：不管某个频说念的信号原来是强如故弱，它皆把每个频说念的音量旋到不异的位置。这种作念法在大谈话模子预造就阶段相称灵验，大致让模子更充分地探索参数空间，在多项任务上超越AdamW。

干系词，商讨团队发现，这个"把统统频说念音量皆调一样"的计策，在两类进击的非预造就场景中会产生严重问题。这两类场景即是：机器东说念主视觉-谈话-动作模子（VLA）造就，以及带有可考证奖励的强化学习（RLVR）。

二、机器东说念主造就时碰到了什么窒碍

VLA模子是比年来机器东说念主领域的一个进击见解。它的见解是让机器东说念主大致默契视觉图像媾和话教导，然后输出具体的动作——比如"把阿谁红色的杯子放到托盘上"。这类模子里面时常由三个模块构成：视觉编码器、谈话骨干，以及动作头。前两者认真"看"和"听"，动作头认真"作念"。

商讨团队发现，这三个模块在造就时产生的梯度，在内在复杂度上存在弘远相反。他们使用了一个叫作念"灵验秩"（erank）的盘算推算来测度这种复杂度——不错默契为，梯度信息分散在若干个有真谛的方进取。视觉模块的梯度"灵验秩"很高，信息分散在几百个方进取；谈话模块居中；而动作头的梯度"灵验秩"极低，往往只围聚在寥寥几个方进取。这是有真谛的：机器东说念主的一个动作只是一个7维向量（手腕的平移、旋转和夹爪景色），当然比处理像素或词汇要粗浅得多。

回到频说念滤波器的譬如：动作头的梯度就像一个唯有3个的确进击频说念、其余皆是弱噪声的信号。Muon的均匀白化操作，会把这3个进击频说念和其他几百个噪声频说念皆放大到不异的音量，结果有用信号被吞并在噪声里。商讨团队用实验考证了这少量：在LIBERO Object这个机器东说念主基准测试上，当动作头使用Muon造就时，得手率唯有82.2%，反而不如使用AdamW的93.6%。

商讨者也谈判了一个现存的改造决策——Low-rank Muon（低秩Muon，简称LRMuon）。它的念念路是：先通过精确的奇异值领会（SVD）找出梯度中最进击的前k个见解，只保留这些见解进行更新，其余见解胜利丢弃。这么如实能自妥当地处理低秩梯度，把得手率提高到97%。但问题是，SVD诡计相称致力于，会导致总造就时间加多约15倍。这在履行应用中是不行接受的。

三、强化学习造就时又碰到了什么窒碍

RLVR是另一个热点见解，它的见解是通过让模子与"不错自动考证谜底的题目"互动来晋升推明智力——比如数学题、编程题，因为这些题有明确的对错之分，不需要东说念主工判分。DeepSeek-R1等模子的推明智力晋升，背后就用到了雷同的技艺阶梯。

商讨团队凝视到，RLVR的梯度信噪比（SNR）远低于平凡的监督微调（SFT）。信噪比不错默契为：在统统的梯度更新信号里，的确有真谛的部分占若干。SFT的信噪比很高，因为每个token皆有明确的教师信号；RLVR则不同，它依赖轨迹级别的奖励（作念完一整说念题才知说念对分歧），信号稀零，同期还有进击性采样、截断和归一化等操作进一步引入噪声。商讨团队从表面推导上给出了严格的信噪比对比公式，阐述RLVR的梯度信噪比权贵低于SFT。

在这么的低信噪比环境下，Muon的均匀白化就变成了灾荒。回到频说念滤波器的譬如：RLVR的梯度就像一个的确有真谛的信号只占一小部分、大部分皆是噪声的播送。把统统频说念皆放到不异音量，等于让噪声透顶主导了更新见解。商讨团队在实验中发现，当使用Muon造就Qwen3-1.7B模子在MATH数学题上的GRPO强化学习时，模子精度从造就起初就一说念下滑，最终趋近于零，发生了实足的崩溃。而AdamW在不异培植下能富厚晋升精度。

除此除外，商讨团队还指出了Muon的另一个问题：它把注目力机制的权重矩阵动作一个举座来处理，而淡薄了不同注目力头（attention head）之间依然在预造就中形成的异质性。预造就后，不同的注目力头饰演不同的变装，各自的权重范数（不错默契为"音量旋钮的运转位置"）存在权贵相反。这种相反自身是有真谛的——它决定了不同头的注目力方式和对梯度的孝敬。Muon对统统这个词矩阵作念均匀处理，会强行抹平这种相反，强制让统统头以疏导的更新幅度改变，破损了预造就积蓄下来的有利结构。

四、Pion的遐想：一个用心调校的高通滤波器

面临以上两个结果，商讨团队建议了Pion（sPectral hIgh-pass Optimization on momeNtum，即基于动量的谱域高通优化）。Pion的中枢见解来自对NS迭代本质的长远默契。

NS迭代的每一步，在数学上等价于对矩阵中的每一个奇异值（也即是每个"频说念强度"）零丁施加一个标量多项式变换。Muon的NS迭代所使用的多项式，会把统统奇异值皆趋向1——这即是均匀白化。而Pion的要津知悉是：遐想NS迭代，本质上等价于遐想这个标量多项式。如若能把这个多项式换成一个"高通滤波器"的景色——让大的奇异值保持在1隔壁，让小的奇异值趋向0——问题就治理了。

商讨团队把这个新的NS迭代分红两个阶段，称为"促进+阻挠"机制。第一阶段叫作念促进（Promotion）：使用一个用心遐想的多项式，把统统奇异值皆尽可能地往上抬，让正本较弱的见解也有机和会事后续的筛选门槛。第二阶段叫作念阻挠（Suppression）：使用另一个多项式，把小的奇异值压向0，同期把大的奇异值锚定在1。两个阶段串联起来，就产生了一个敏感的高通滤波遵守：大奇异值（代表的确进击的信号见解）被完竣保留，小奇异值（代表噪声）被压制为零。

这两个多项式的整个不是疏忽拍脑袋定的，而是通过数学束缚严格推导出来的。以促进多项式为例，它需要稳定三个要求：当奇异值依然是1时保持不动（固定点要求），当奇异值接近1时不要进一步放大扰动（一阶稳重要求），以及在奇异值等于1处曲率不进取弯（鸿沟凹性要求）。这三个束缚加上全区间单调性的要求，惟一详情了促进多项式的整个为(1.875, -1.25, 0.375)。阻挠多项式则稀少要求在原点处斜率为零（谱滤波要求），将就小奇异值被高阶项压向0，整个由此惟一详情为(0, 2.5, -1.5)。

统统这个词迭代总步数固定为5步（与Muon疏导），其中促进取数kp不错在0到5之间遴荐，剩余地数用于阻挠。这个kp是Pion惟一需要曲折的超参数，限制滤波器的截止频率——kp越小、阻挠步数越多，过滤遵守越激进。商讨团队发现，在VLA和RLVR两种场景下，阻挠步数ks不小于3（即kp不超越2）时遵守最佳。由于总步数不变，Pion每步的诡计老本与Muon实足一致。

五、针对注目力头异质性的稀少遐想

除了高通滤波机制，Pion还针对RLVR场景引入了一个"按头处理"的方式。具体来说，在处理注目力层的权重矩阵时，Pion先沿着注目力头的维度把矩阵切分红多个小块，每个头对应一个小块，然后对每个小块独就怕运行高通NS迭代，临了再拼回原来的景色。这个操作的稀少代价简直不错忽略不计，只是多了一次景色变换。

商讨团队通过实验考证了这个遐想的必要性。他们测量了Qwen3-1.7B模子在RLVR造就前和造就后，不同注目力头的Q投影权重矩阵范数的跨头方差。造就前，这个方差在统统28个层皆异常权贵，说明不同头的"运转音量"相反很大。而如若使用举座方式的Pion（不分头处理），造就后各头的更新幅度简直实足一样（方差接近于零），说明举座方式会强制平均掉各头之间的相反。按头方式则能凭据每个头的履行情况给出相反化的更新，保留了预造就培植的异质性结构。

有一个细节值得关爱：按头方式对Muon无效。即使把Muon改成按头处理，它在RLVR上依然崩溃，因为噪声放大的问题（Limitation 2）并莫得因为分头而隐藏。这说明高通滤波是RLVR富厚造就的要津，按头领会只是一个赞成机制，用来保护预造就的头部结构。

六、在模拟机器东说念主环境中的测试结果

商讨团队在LIBERO和LIBERO-Plus两个机器东说念主基准测试套件上，用两种不同架构的VLA模子考证了Pion的遵守。

第一个模子VLA-Adapter，使用l1追溯样式瞻望动作，模子骨干基于Prismatic-Qwen2.5-0.5B。在LIBERO Object任务上，使用AdamW造就的模子在1500步时得手率为32.2%，Muon为97.0%，而Pion达到了100%。在Spatial、Goal、Long三个任务上，Pion不异在造就15000步后获取了最高的得手率（差别为99.4%、97.2%、92.4%），均超越Muon（99.0%、95.8%、88.0%）和AdamW（97.0%、89.2%、69.6%）。

从造就弧线来看，Pion达到95%得手率只需要大要500步，而AdamW和Muon需要更多步数才能达到不异水平，说明Pion不仅最终遵守更好，经管速率也更快。

第二个模子VLANeXt，使用流匹配（flow-matching）样式生成动作，骨干辘集为Qwen3-VL-2B-Instruct，结构与VLA-Adapter实足不同，用于考证Pion的遵守是否只针对特定架构。测试在更有挑战性的LIBERO-Plus上进行，该测试集包含了布景变化、录像头角度变化、谈话描写变化、场景布局变化、光照变化、噪声干与和机器东说念主骨子变化等七种扰动。Pion在统统扰动类别下皆优于Muon和AdamW，总平均得手率差别为Pion 75.93%、Muon 72.34%、AdamW 64.57%。在谈话描写变化这一扰动下，Pion比Muon高出约9个百分点；在噪声和机器东说念主变化扰动下，也各高出约6个百分点。这标明Pion造就出的计策对分散变化有更好的鲁棒性。

商讨团队还提供了一个具体的对比案例。在一个"握取装有柑橘类饮料的容器并放入编织托架"的任务中，AdamW造就的模子握错了瓶子，显明谈话默契出了偏差；Muon造就的模子握到了正确的瓶子，但在迁徙进程中碰撞了傍边的物体，体现了均匀白化导致的"动作抖动"；唯有Pion造就的模子干净利落地完成了全程，莫得任何碰撞。

七、在的确机器东说念主上的测试结果

模拟环境中的得手总要禁受的确宇宙的熟习。商讨团队用一台Franka Research 3机械臂，在DROID硬件平台上考证了Pion。他们使用π0.5这一现存的VLA骨干模子，用200条遥操作示范轨迹进行微调，然后在三个握取扬弃任务上评估：黄瓜→盘子、方块→盘子、方块→碗。每个任务进行30次就怕运转位置的考试。

结果异常惊东说念主：AdamW的平均得手率为31.1%，Muon为38.9%，而Pion达到了85.6%。具体到单个任务：黄瓜→盘子，Pion为93.3%，Muon为56.7%，AdamW为40.0%；方块→盘子，Pion为83.3%，两者均为33.3%；方块→碗，Pion为80.0%，Muon为26.7%，AdamW为20.0%。这些收益全部在唯有20000个造就步的低预算培植下获取，比AdamW时常所需的造就量少得多，说明Pion在的确机器东说念主任务上不异具有更高的步遵守。

从视频帧的对比中不错看到，AdamW在黄瓜任务中反复尝试握取但持久无法将黄瓜从桌面拿起；Muon能握起黄瓜，但半途夹爪过早伸开，黄瓜在运载进程中掉落；Pion则富厚地完成了握取到扬弃的全部动作。在最艰难的方块放碗任务中，AdamW拿起方块但高度不够，无法越过碗沿；Muon的夹爪与方块对位不准，无法形成富厚握取；Pion则得手将方块放入碗中。

八、在推理强化学习中的测试结果

除了机器东说念主场景，商讨团队还在RLVR场景下进行了大鸿沟测试。他们使用Qwen3-1.7B和Qwen3-4B两个模子，差别用GRPO和GMPO两种强化学习算法，在MATH和GSM8K两个数学推理数据集上造就，共形成8个测试培植。

在全部8个培植中，Muon的推崇皆是崩溃型的：精度在统统这个词造就进程中持久接近于零，有时以致低于造就起初时的查验点。这与表面分析实足吻合——低信噪比的RLVR梯度在均匀白化下，噪声被放大到与灵验信号同等强度，模子参数遭到破损。

AdamW在统统培植中皆能富厚造就，精度随步数持续晋升。Pion则进一步超越AdamW，在统统培植下皆推崇出更快的经管速率。商讨团队还测量了统统这个词造就进程中Pion与AdamW的梯度信噪比，发现Pion持久保管比AdamW更高的梯度信噪比，这从机制上解释了Pion为什么更富厚、更灵验。

为了证实Pion的收益来高傲通滤波这个特定遐想而非其他身分，商讨团队还构造了一个"反向消融"实验——Low-pass Muon（低通Muon，简称LPMuon）。这个变体保持疏导的NS迭代结构和诡计老本，但把整个改成产生相悖的遵守：大奇异值被压缩、小奇异值被放大。结果LPMuon实足无法造就，精度停在运转查验点不动。三种变体的对比表现地说明：Muon无过滤失败，LPMuon反向过滤失败，唯有Pion的正向高通过滤大致得手。滤波见解是要津。

九、消融实验揭示的更多细节

商讨团队还遐想了一系列细粒度的消融实验来深入默契Pion的责任机制。

对于Pion与LRMuon的比较，商讨团队在LIBERO Object任务上系统测试了LRMuon在不同秩k（1、16、64、256）下的性能。结果显现，LRMuon在统统秩培植下皆优于Muon，但持久劣于Pion——这说明软性高通过滤优于硬性截断名次投影。何况LRMuon在秩为256时总造就时间高达7.03小时，而Muon和Pion皆只需约0.47小时，差距约15倍。

对于按头方式与举座方式在VLA任务上的比较，商讨发现两种方式遵守控制，举座方式稍许好少量（四任务平均97.25% vs 96.85%）。这印证了商讨团队的判断：VLA动作头是从新起初造就的，莫得预造就培植的头部异质性，按头处理的稀少收益很小，举座方式依然宽裕。比拟之下，RLVR的LLM骨干辘集有多数预造就积蓄的头部异质性，按头处理才的确进击。

商讨团队还系统测试了不同模块分拨不同优化器的组合遵守。在9种组合中，视觉模块用Muon+谈话模块用Muon+动作模块用Pion（S9组合）达到了100%的得手率，是统统组合中的最高值。比拟之下，视觉模块换成Pion会使得手率崩溃到17.8%（S7），说明高秩的视觉梯度不适合高通过滤；谈话模块换成Pion会把得手率压低到73.8%（S5）；而动作模块用Pion而其他用AdamW时得手率唯有73.6%（S3），说明仅凭动作模块的改善远不够，需要视觉媾和话模块也用Muon来阐述全部后劲。这个实验有劲地标明，Pion的上风来自对动作头梯度低秩结构的精确适配，而不是粗浅地"Pion比Muon好"这一磨叽论断。

归根结底，这项商讨揭示的中枢真谛是：莫得一个优化计策是全能的。Muon的均匀白化在信号丰富、梯度高秩的预造就场景中是一种优秀的探索计策；但当造就信号稀零、梯度低秩或低信噪比时，不异的计策反而成了放大噪声的放大器。Pion通过把NS迭代从"全频说念平衡器"改形成"高通滤波器"，以实足疏导的诡计老本治理了这一矛盾。对于机器东说念主造就，这意味着更快达到高得手率、更少的造就步数；对于推理模子的强化学习，这意味着造就不再崩溃、精度稳步晋升。

虽然，商讨团队也坦诚了一个结果：Pion并不适合LLM预造就。预造就的梯度时常是高秩的，各见解皆有有真谛的信息，Muon的均匀探索计策正好能充分诳骗这种丰富性。Pion的高通过滤会丢弃这些信息，反而会比Muon推崇差。怎样让高通截止频率自妥当地赈济，在预造就时退化为Muon、在后造就时滚动为Pion，是商讨团队留给往时的绽放问题。

由此可见，优化器的遐想不单是是数知识题，更是信号处理玄学的问题：什么是噪声，什么是信号，取决于你所处的造就阶段和数据结构。这篇发表于arXiv的论文（编号2605.19282）的价值，不仅在于提供了一个工程上可用的器具，更在于提供了一个默契不同造就场景信号特征相反的分析框架。有兴趣深入了解的读者不错通过该编号在arXiv上查阅完竣论文及代码。

Q&A

Q1：Pion优化器和Muon优化器的主要区别是什么？

A：Muon会把梯度矩阵中统统见解的强度皆妥洽赈济为疏导大小，异常于把有用信号和噪声皆放大到同等音量。Pion则通过一个两阶段机制，先把进击见解晋升，再压制弱小见解，形成高通滤波遵守——强信号保留，噪声压向零。两者诡计老本实足疏导，区别只在多项式整个的遐想。

Q2：VLA机器东说念主造就中为什么动作模块梯度和视觉模块梯度不同？

A：机器东说念主的动作本质上是一个7维向量（手腕的平移、旋转和夹爪景色），信息量远小于视觉模块要处理的像素或谈话模块要处理的词汇。因此动作模块的梯度只在少数几个方进取有的确有用的信息（低灵验秩），而视觉媾和话模块的梯度分散在几百个方进取（高灵验秩）。

Q3：为什么强化学习微调时Muon优化器会导致模子崩溃？

A：强化学习依赖轨迹级别的奖励信号，每说念题答完才知说念对分歧，信号稀零；再加上截断、进击性采样等操作进一步引入噪声，举座梯度信噪比远低于监督微调。Muon把统统见解皆放大到同等强度，异常于让噪声主导了参数更新开yun体育网，模子很快就被过错见解带崩溃了。