展会信息港展会大全

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题
来源:互联网   发布日期:2021-10-26 14:46:01   浏览:7183次  

导读:机器之心报道 编辑:小舟 许多人质疑量子数据能否变得高度可用,来自洛斯阿拉莫斯国家实验室(LANL)和伦敦大学的一项研究证明量子卷积神经网络(QCNN)具备巨大的潜力。 随着量子计算机的出现给计算机领域带来了许多突破性进展。在量子计算机上运行的卷积神...

机器之心报道

编辑:小舟

许多人质疑量子数据能否变得高度可用,来自洛斯阿拉莫斯国家实验室(LANL)和伦敦大学的一项研究证明量子卷积神经网络(QCNN)具备巨大的潜力。

随着量子计算机的出现给计算机领域带来了许多突破性进展。在量子计算机上运行的卷积神经网络也因其比经典计算机更好地分析量子数据的潜力而引起诸多关注。量子神经网络(QNN)被认为是最有前途的架构之一,其应用包括物理模拟、优化等。

尽管 QNN 具有巨大的潜力,但许多 QNN 架构已被证明会出现「贫瘠高原」现象,其中代价函数的梯度随系统大小呈指数级消失,使得 QNN 架构无法针对大型问题进行训练。

近日,来自美国洛斯阿拉莫斯国家实验室(LANL)和伦敦大学的研究人员构建了一个不存在贫瘠高原的特定 QNN 架构。该研究的论文《Absence of Barren Plateaus in Quantum Convolutional Neural Networks》在《PHYSICAL REVIEW X》上发表。

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

论文地址:https://journals.aps.org/prx/pdf/10.1103/PhysRevX.11.041011

近来一些研究者提出了量子卷积神经网络(QCNN)架构,洛斯阿拉莫斯国家实验室(LANL)和伦敦大学的这项研究严格分析了 QCNN 架构中参数的梯度缩放。该研究发现梯度的方差消失的速度并没有比多项式更快,这意味着 QCNN 没有出现贫瘠高原现象。该结果为随机初始化的 QCNN 的可训练性提供了分析保证,这突出了 QCNN 与许多其他 QNN 架构的不同,即在随机初始化下可训练。

避免梯度消失问题

该研究为了得出其分析结果,提出了一种基于图的新方法来分析 Haar 分布式 unitary 的期望值,这可能是一种极为有效的方法。最后,该研究用数值模拟验证了其分析结果。

QCNN 架构

QCNN 架构涉及一系列卷积层和池化层,这些层减少了量子比特的数量,同时保留了有关数据特征的信息。

如下图 1 所示,QCNN 架构将 Hilbert 空间 H_in 中的 n-qubit 输入状态 ρ_in 作为输入,该状态通过由一系列卷积层和池化层组成的电路发送。卷积层由两行参数化的双量子比特门组成,作用于相邻量子比特的 alternating 对。在每个池化层中,测量一半的量子比特,测量结果控制应用于相邻量子比特的 unitary。在 L 个卷积层和池化层之后,QCNN 中还包含一个全连接层,该层对剩余的量子比特应用 unitary。最后测量一些 Hermitian 算子 O 的期望值。

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

QCNN 架构示意图。

该研究将 QCNN 的输入状态映射到 Hilbert 空间中的一个缩减状态,其中 H_out 的维度远小于 H_in 的维度。输出状态可以表示为:

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

其中,V(θ)是包含卷积层和池化层以及全连接层中的门的 unitary,θ 是可训练参数的向量,表示除 H_out 中以外的所有量子比特的偏迹数(partial trace)。请注意,QCNN 中的非线性源于池化层中的池化算子,这有效地降低了每一层的自由度。

代价函数

QCNN 的目标是应用一个训练集 S(S 的大小 M=|S|),包含输入状态来优化 QCNN 中的参数,并最小化代价函数,代价函数可表示为

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

其中 c_α是实系数,是从如下等式 (1) 中获得的,每个输入状态为ρ_in。

Ansatz

为了简单起见,该研究主要考虑两种情况:n=2^k 和 L=log(n)=k,这样 dim(H_out)=2。此外,该研究假设卷积层和池化层中的 unitary 是独立的。也就是说,V(θ) 中的卷积层和全连接层由作用于相邻量子比特的两个量子比特参数化 unitary 块组成,表示为。

研究者注意到,这种泛化包含作为特殊情况的常见 QCNN 结构,其中同一卷积或池化层中的块是相同的。此外,研究者在论文的结果部分讨论得出:卷积层中的 unitary 相关性往往会增加代价函数的梯度幅值。

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

如上等式 (13) 所示,由于代价函数偏导数的方差独立于 I_ij 中的受控 unitary,因此可以将池化层中算子 I_ij 的作用附到卷积层中 unitary 的作用上。因此,QCNN 的张量网络表征如下图 2 所示。

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

QCNN 的张量网络表征。

此外,该研究还提出了一种分析方差缩放的新方法,称为 GRIM。

量子卷积网络中的“贫瘠高原”现象被解决,新研究克服了量子AI一大难题

QCNN 架构的 GRIM 模块。

这项研究有什么意义?

作为一种人工智能方法,QCNN 受到视觉皮层的启发,因此涉及一系列的卷积层与池化层,在保持数据集重要特征的同时降低了数据的维度。这些神经网络可用于解决一系列问题,从图像识别到材料发现。克服贫瘠高原是挖掘量子计算机在人工智能应用中的全部潜力并展示其优于经典计算机的关键。

Marco Cerezo(论文合著者之一)说,到目前为止,量子机器学习的研究人员分析了如何减轻贫瘠高原的影响,但他们缺乏完全避免它的理论基矗LANL 的工作展示了一些量子神经网络实际上不受贫瘠高原的影响。

「有了这个保证,研究人员现在将能够筛选关于量子系统的量子计算机数据,并将这些信息用于研究材料特性或发现新材料等方面。」LANL 的量子物理学家 Patrick Coles 说。

40 多年来,物理学家一直认为量子计算机将被证明可用于模拟和理解粒子的量子系统,这会扼杀传统的经典计算机。LANL 研究证明稳健的量子卷积神经网络类型有望在分析量子模拟数据方面获得应用。

「关于激光有一句名言,当它们第一次被发现时,人们说它们是寻找问题的解决方案。现在到处都在使用激光。同样,我们中的许多人怀疑量子数据能否变得高度可用,可能意味着量子机器学习也会起飞。」Coles 说道。

参考链接:

https://discover.lanl.gov/news/releases/1015-quantum-ai

2021 NeurIPS MeetUp China

受疫情影响,NeurIPS 2021依然选择了线上的形式举办。虽然这可以为大家节省一笔注册、机票、住宿开支,但不能线下参与这场一年一度的学术会议、与学术大咖近距离交流讨论还是有些遗憾。

今年,我们将在NeurIPS官方支持下,再次于 12 月份在北京举办线下NeurIPS MeetUp China,促进国内人工智能学术交流。

2021 NeurIPS MeetUp China将设置 Keynote、圆桌论坛、论文分享和 Poster 等环节,邀请顶级专家、论文作者与现场参会观众共同交流。


赞助本站

相关内容
AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港