【作者】 ；
【导师】 ；
【作者基本信息】 大连理工大学， 计算数学， 2007， 博士
【摘要】 到目前为止，人们提出了许多神经网络模型，其中应用最广泛的是前馈神经网络．早期前馈神经网络中只含有求和神经元，在处理复杂非线性问题时效率很低．后来，人们将求积神经元引入到前馈神经网络中，用以增加网络的非线性映射能力，提高网络的学习效率．这样的网络可以统称为高阶前馈神经网络．但是，如果只通过输入节点值的简单乘积构造求积神经元以增加网络的非线性映射能力，随着输入样本维数的增加，所需权值的数量呈指数阶增加，即出现“维数灾难”．Pi-Sigma神经网络是1991年Y．Shin提出的一种具有多项式乘积构造的求积神经元的高阶前馈神经网络．该网络既提高网络的非线性映射能力，又避免了“维数灾难”的出现．此后，为了提高该网络的应用能力，Y．Shin、A．J．Hussaina、C．K．Li等又以Pi-Sigma神经网络为模块构造了更复杂的网络结构，并在模式分类和函数逼近等问题中取得成功应用．学者们对只含有求和神经元的前馈神经网络的收敛性、泛化能力等理论问题已有深入研究，而对含有求积神经元的高阶前馈神经网络的研究主要集中在实际应用上，相关理论方面的研究还很薄弱，仍存在许多有待解决的基本理论问题．因此，从理论上分析Pi-Sigma神经网络学习算法的学习能力和收敛性具有很重要的实际意义，这些问题的研究和解决将对Pi-Sigma神经网络的应用起到重要的促进作用．梯度算法是一种简单又常用的神经网络训练算法，从样本的输入方式看，包括批处理和在线两种运行方式；从权值向量的更新方式来看，包括同步和异步两种更新方式．本论文主要研究用于训练Pi-Sigma神经网络的几种梯度学习算法的相关理论问题，包括学习效率、收敛性等．另外，在网络结构优化方面做了一些尝试．本论文的结构及内容如下：第一章回顾有关神经网络的一些背景知识．第二章指出随机单点在线梯度算法训练Pi-Sigma神经网络过程中因权值较小会
