谷歌登顶Nature！AlphaGo同款AI杀入量子圈，“永不停机”的量子时代来了

量子计算的核心挑战之一并不是来自量子比特，而是我们如何去“控制”它们。

量子计算机本质上是模拟设备，非常脆弱，任何外界轻微的变化都会让计算功亏一篑。传统做法是依靠人为去反复校准，但这显然不是长远之计。

7月8日，由Google Quantum AI、Google DeepMind、马萨诸塞大学、加州大学组成的研究团队在《Nature》期刊上发表题为“Reinforcement learning control of quantum error correction”（量子纠错的强化学习控制）的研究论文，开创了量子纠错（QEC）的新范式，成功把纠错和系统校准合二为一。

量子纠错（QEC）过程中，系统会不断产生“错误探测事件”，告诉你有地方出问题的信号。过去这些信号只用于纠错，但这项研究把这些错误探测事件同时用作强化学习（RL）智能体的“学习素材”。智能体通过分析这些信号，就能在计算进行的同时，持续调整和优化控制参数。研究团队将这一思路概括为“让量子计算机从自己的错误中学习，并且永不停止计算”。

研究团队在Willow超导处理器上实验验证了该框架，将表面码对漂移的稳定度提升了3.5倍，并创下表面码（每周期逻辑误差7.72(9)×10⁻⁴）与颜色码（8.19(14)×10⁻³）的性能纪录。

针对包含数万个控制参数的大规模码的数值模拟显示，本强化学习（RL）框架的可扩展性，显示优化速度与系统规模无关。这一成果标志着“会学习的量子计算机”成为现实，实现了永不间断的量子计算。

为什么量子计算不能总是“停下来”？

目前的超导量子计算，核心是把错误“数字化”。就像数字电路只有0和1一样，量子纠错把连续的模拟噪声，分解成一个个离散的“错误”和“没错”的“信号”。这些“信号”又叫“症候”（Syndrome）。有了症候，解码器就能判断哪里出错，怎样去修它好了。

但纠错这里有个“硬指标”，叫阈值定理。物理上错误率一定要低于一定阈值以下，纠错才有效。否则，纠错过程引入的麻烦，会多于纠错解决的旧题。

要达到阈值的要求，则要对量子芯片上的成千上万控制参数进行精密校准。比如对微波脉冲的频率、幅度或者两个比特间相互作用的强度进行校准。传统的校准流程是非常繁琐的：先校准这个，再校准那个，一环套一环。

问题是，量子系统的参数会“漂移”。温度不同、材料结构不完美、控制电子的热噪声，都会让昨天校准好的参数，今天就失灵了。

以前的做法是，一旦发现性能下降，立即打断计算任务，重新进行一遍流程校准。这种“计算-校准”解耦的模式，完全没办法撑起未来大规模容错量子计算的野心。

谷歌新提出的思路非常奇特，既然知道纠错过程本身在不停地监测错误，那这些错误信号为什么不能直接用来指导校准呢？

把错误变成“学习信号”

这一工作的最新颖的地方，就是用强化学习重构控制闭环。

图：量子纠错强化学习控制框架示意图

大家可能对强化学习（RL）不陌生，AlphaGo打败李世石就是用了它。它里面的逻辑也很直观：智能体（Agent）在环境里面做动作，环境给它反馈（奖励或惩罚），智能体基于反馈来优化自己的策略，争取下次拿高分。

到这个工作里面，环境就是量子处理器，智能体是运行在经典计算机上的RL算法。奖励什么呢？

如果用“逻辑错误率”当奖励很难计算。逻辑错误率是个长期指标，需要跑成千上万次循环才统计得出来，而逻辑态本身也未知的。

于是研究人员设计了一个“代理目标”（Proxy Objective）。他们盯上的是量子纠错中的“检测器”（Detector），检测器是用来检测错误的单元。如果没有错误，检测器的读值都是稳定的；有错误时读值就会翻转。

这个代理目标很简单：最小化检测事件发生概率。检测事件越少，表示物理上的错误就少，逻辑错误率就低。这就把优化一个无法测量的全局指标，转化为优化一系列比较容易测量的局部指标。

而且，因为量子纠错码的“局域性”，一个检测器只跟它周围的一小片区域的量子比特有关。这就意味着用RL算法无需每次都监视全芯片的几万个参数，RL算法只需关注跟当前检测事件相关的那几个参数。这种稀疏性，是算法能用至大规模系统的一个关键。

图：错误检测区域、代理目标与因子图稀疏结构

具体怎么操作？算法维护一个“策略分布”。它每次都尝试一组微小的参数扰动，然后看看这组参数会导致测到的事件是多了还是少了。如果少了，下一个尝试就再更多地朝着这组微扰的方向进行；如果多了就避开。

这种基于蒙特卡洛采样的梯度估计让系统能在不依赖精确物理模型的情况下，摸索出最优的控制参数。

在Willow超导量子处理器进行实验验证

实验是在谷歌的Willow超导处理器上进行，主要用了距离-5和距离-7的表面码，以及距离-5的颜色码。

整个实验设置中，RL智能体需要控制约1000个控制参数。这些参数决定了抽象的QEC电路如何转化为实际控制量子比特的模拟波形。

第一步是“微调”。先用传统办法把芯片调到最佳状态，再用RL算法“抛光”这些几乎完美的参数。结果显示，RL在表面码和色码上仍实现了额外的20%性能提升。

第二步是“抗漂移”。“漂移”的情况改变在多个控制参数上，注入多个不同时间曲线的漂移，包括阶跃型、正弦型和频闪型，覆盖了CZ耦合强度、XY脉冲幅度和频率等不同参数的控制类型，并分布在量子比特网格的不同位置上。

具体实验结果如下：

首先是RL微调带来的性能提升。RL微调增强后，距离-7表面码平均逻辑错误率达到每周期7.72(9)×10⁻⁴，距离-5颜色码达到8.19(14)×10⁻³。这些是截至目前公开报道的所有物理量子比特模态中QEC性能中最好的。

图：RL微调对传统校准后QEC性能的进一步提升

其次是应对漂移的能力。固定控制策略性能随着时间变化明显下降，错误探测信号在预期位置显著升高。而RL引导的策略则能够持续将错误探测速率维持在初始水平以下。

从阶跃漂移中恢复的时间大约为130个学习轮次，这也是系统能够有效应对的漂移速度的一个参考量级。在逻辑性能方面，RL引导使LER平均降低了24%，稳定性提升了2.4倍；结合解码器引导后，这两个数字进一步改善到31%和3.5倍。

图：RL对人为注入参数漂移的实时跟踪与抑制效果

第三是实时引导的可行性验证。数值模拟的结果表明，有着一个临界漂移率，大概是每150轮次一个周期。当漂移慢于这个频率时，RL便能在探索和利用中求得平衡，在实时计算过程中持续校准系统，而没有任何额外的资源开销。

第四是可扩展性。对距离-15表面码、约4万个控制参数进行了模拟，模拟出来的优化收敛性与系统的规模无关。这个特性产生的原因是错误探测的局域性：每个参数只影响有限的局部区域，使得算法能够高效地扩展到更大规模的系统。

图：大规模表面码RL控制的可扩展性及实时调控临界频率

智能控制之路

过去我们觉得校准都要在计算之外单独完成，导致量子计算机不得不“停机”来调整自己。而今天，校准与计算被统一在同一个框架下，量子计算机可以在算的时候持续优化自己的控制参数。

这个框架的通用性也是值得关注的地方。尽管实验是在超导处理器上做的，但方法本身只要求系统具备两个条件：能够产生错误探测信号，以及控制参数是可调的。所以它也是可以直接应用到离子阱、中性原子、光量子等任何量子计算物理平台。

回顾整个量子计算的发展史，我们一路狂奔有两种路途：一条是硬件之路，使量子比特更好，相干时间更长，保真度更高；另一条是软件之路，搞个更好的纠错码、更好的解码算法。

谷歌的这项工作，实际上开辟了新的第三条路，叫做智能控制之路。就是说，通往容错的道路不仅建立在更优的硬件之上，也依赖于更智能的控制。

https://www.nature.com/articles/s41586-026-10759-2