基于ＢＰ网络学习算法的英文字符识别
双击自动滚屏
作者：于海平 余红珍 【字体：】
基于ＢＰ网络学习算法的英文字符识别
于海平 余红珍
（武汉科技大学城市学院 湖北 武汉 430083）
摘 要：介绍了ＢＰ神经网络的基本原理，指出了ＢＰ算法收敛速度慢、易陷入局部及小值等缺陷，在标准ＢＰ算法的基础上引入了几种优化ＢＰ算法的方法。针对模式识别应用领域，通过实例，运用Ｍａｔｌａｂ编程对各种较好的网络学习算法的性能进行比较，给出了一个三层ＢＰ网络识别含噪声的字母的实例。实验结果表明，改进的ＢＰ算法有效地提高了ＢＰ算法的收敛速度。
关键词：模式识别；学习算法；ＢＰ神经网络
中图分类号：ＴＰ１８３ 文献标识码：A
神经网络是由大量简单神经元连接而成的复杂网络，它是在现代生物学研究人脑组织结构的基础上提出的用来模拟人类大脑神经思维活动的一种模型结构，具有高度的并行结构和非线性映射能力。目前，人工神经网络已经在自动控制、故障诊断与检测、模式识别和分类等领域得到越来越广泛的应用。人工神经网络的模型现在有数十种，包括基于误差反向传播算法的多层前馈网络，即ＢＰ网络、Ｈｏｐｆｉｅｌｄ网络、ＡＲＴ网络和Ｋｏｈｏｎｅｎ网络等，其中ＢＰ网络因其结构简单、易于实现，是目前研究最多、应用最广的一种神经网络。ＢＰ网络由输入层、输出层及隐含层组成，每层由若干个神经元组成，输入信号由输入层传递到隐节点，经过传递函数后，再把隐节点的输出信号传播到输出层节点，经过处理后给出输出结果。其中网络中每一层神经元的状态只影响下一层神经元的状态。笔者运用改进的ＢＰ算法，构建了一个三层的ＢＰ网络用来识别２６个英文字母，取得了较好的效果。
１ ＢＰ算法及其改进
１．１ ＢＰ算法
ＢＰ神经网络算法也称为误差反向传播算法（Ｅｒｒｏｒ Ｂａｃｋ－Pｒｏｐａｇａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ），是一类有指导学习算法，用于ＢＰ网的权值和阈值学习。ＢＰ神经网络的学习过程分为信息的正向传播过程和误差的反向传播过程两个阶段。外部输入的信号经输入层、隐含层的神经元逐层处理向前传播到输出层给出结果。如果在输出层得不到期望输出，则转入逆向传播过程，将实际值与网络输出之间的误差沿原来联结的通路返回，通过修改各层神经元的权值，使误差减少，然后再转入正向传播过程，反复迭代，直到误差小于给定的值为止。图１是一个三层网络的结构图。
标准ＢＰ算法描述如下：
（１）初始化：设定学习率μ，允许误差ε，最大迭代次数，置循环步数ｉ＝０。
（２）正向计算：将第Ｐ个样本（Ｘｐ＝｛ｘｐ１，…ｘｐＮ｝）顺序输入到网络中，按下式分别计算实际输出：
Ｏ１ｐｋ（ｉ）＝ｆ（■ｗ１ｎｋ（ｉ）ｘｐｎ）
Ｏ2ｐm（ｉ）＝ｆ（■ｗ2km（ｉ）O1ｐｋ（ｉ））
其中激活函数采用Ｓ型ｓｉｇｍｏｉｄ函数。
（３）计算均方误差：Ｅ＝■■（ｔｐｍ－Ｏ２ｐｍ）２，若Ｅ≤ε，则停止迭代，否则执行下一步。
（４）反向计算：计算权值的改变量并更改权值。
△ｗ１ｎｋ（ｉ＋１）＝μ■δｐｋ（ｉ）ｘｐｎ
△ｗ2km（ｉ＋１）＝μ■δｐｋ（ｉ）O1ｐｋ（ｉ）
ｗ１ｎｋ（ｉ＋１）=ｗ１ｎｋ（ｉ）+△ｗ１ｎｋ（ｉ＋１）
ｗ2km（ｉ＋１）=ｗ2km（ｉ）+△ｗ2ikm（ｉ＋１）
（５）置ｉ＝ｉ＋１，返回（２）。ＢＰ算法是目前应用最广泛的神经网络学习算法，但是在使用过程中也存在一些不足之处，主要表现在：收敛速度慢、易陷入局部极小点、泛化能力差、隐节点数和初始值的选取缺乏理论指导、未考虑样本选择对系统学习的影响。
１．２ ＢＰ算法的改进
１．２．１ 附加动量项法
针对收敛速度比缓慢这一缺陷，Ｒｕｍｅｌｈａｒｔ等人建议在权值调整式中加入动量项，也就是在反向传播的基础上，在每个权重的变化上加上一项正比于前一次权重变化量的值，并以此来产生新的权值的变化，公式如下：
△ｗ（ｉ＋１）＝α*△ｗ（ｉ）＋μ*α*■
其中α为动量因子，一般取０~１之间的数值，加入动量项可以有效地加速收敛速度，避免震荡，从而有效地避免收敛的不稳定。
１．２．２ 学习率可变法
在训练的过程当中，该算法使学习的步长尽量大，学习率则根据局部误差曲面进行相应的调整。当误差以减小的方式趋于目标时，学习率增加，进而步长增加，而当误差增加超过事先设定的值时，该算法使学习率减少，从而步长减小。同时舍去前一次修正的过程。
１．２．３ 导数提升法
基于标准的ＢＰ算法各层权值的调整都与Ｓ函数的导数有关，而Ｓ函数趋于０或１时，导数将趋于０，ＢＰ网络将丧失调节的能力，易陷入一个平坦的局部极小区域。所以，导数易趋于０是导致ＢＰ算法收敛极慢的重要因素，如果对Ｓ函数进行如下调整：
ｆ′（α）＝ｆ（α）＋ωａ
调整参数?覣是某一正数，一般取０．０５~１之间，过小或者过大都不能起到相应的效果。
１．２．４ 遗传算法（ＧＡ）对ＢＰ算法的优化－混合ＧＡ－ＢＰ算法
ＧＡ基于自然选择和自然遗传这种生物进化机制的搜索方法，ＧＡ求解过程本质是随机寻优过程，不存在局部收敛问题。将遗传算法与ＢＰ网络结合，不仅能发挥神经网络的泛化映射能力，而且可以克服ＢＰ算法易陷入局部极值问题，使网络具有较快的收敛速度，从而可以提高学习的能力。
此外，人们还提出了许多其它措施以加快ＢＰ算法的收敛速度。一方面，学习过程实际是一个最优化问题，用瞬时梯度修正权值相当于爬山法，如果用共轭梯度法或牛顿法，虽然计算复杂些，但可以改善收敛过程；另一方面，可以把监督学习过程看作是一个线性自适应滤波器，采用最小二乘法（ＲＬＳ）或者扩展的卡尔曼滤波算法（ＥＫＡ）也可以改进收敛过程。
２ 仿真试验
根据以上介绍的ＢＰ算法及各种改进方法，采用Mａｔｌａｂ编程用来实现字符的识别。本实例采用自适应学习率动量梯度下降反向传播算法对网络进行训练，将２６个英文字母以位图的形式存入，即本系统采用７×５的英文字母“０、１”数字编码。以下是具体的步骤：
（１）载入训练样本。本例是以“ａ”到“ｚ”及“Ａ”到“Ｚ”为样本集。
（２）建立网络对象。函数ｎｅｗｆｆ是建立一个可训练的前向神经网络函数，详细定义如下：ｎｅｗｆｆ（ＰＲ，［Ｓ１ Ｓ２ …ＳＮ］，｛ＴＦ１ ＴＦ２…ＴＦＮ｝，ＢＴＦ，ＢＬＦ，ＰＦ），其中：第一个参数是一个Ｒ＊２的矩阵用来定义Ｒ个输入向量的最大值和最小值；第二个参数是用来表示每层神经元个数的数组；第三个参数是包含每层用到的转移函数名称的数组；最后一个参数是用到的训练函数的名称（本例使用ｔｒａｉｎｇｄｘ函数）。
（３）训练神经网络。
（４）测试神经网络。
（５）绘制网络误差曲线。
本例的网络输入个数即为字符特征矢量的维数３５，输出神经元的个数即为字符模式矢量的维数２６，隐层神经元的个数取值为１０，隐层和输出层神经元的传递函数均取ｌｏｇｓｉｇ函数，网络训练函数取ｔｒａｉｎｇｄｘ（本例仅以字母Ａ为例说明）。其中网络训练曲线见图２，网络误识率曲线见图３，含噪声的字母Ａ的位图以及相应的仿真结果分别见图４、图５。
３ 结语
笔者通过研究标准的ＢＰ神经网络基本算法，提出了几种改进方案，并将改进的ＢＰ算法应用于含有噪声的字母的识别，该算法简单易行，识别效果良好。由于本文采用５*７的英文字母二值编码，所以对应复杂字体还无法识别，这还有待于作进一步的研究。
参考文献
１ 范磊，张运陶，程正军． 基于Ｍａｔｌａｂ的改进ＢＰ神经网络及其应用［Ｊ］． 西华师范大学学报（自然科学版），２００５（１）
２ 高隽． 人工神经网络原理及仿真实例［Ｍ］．北京：机械工业出版社， ２００５
３ 王小平，曹立明． 遗传算法——理论·应用与软件实现［Ｍ］．西安：西安交通大学出版社，２００２
４ 许东，吴铮． 基于ＭＡＴＬＡＢ６．ｘ的系统分析与设计——神经网络［Ｍ］． 西安：西安电子科技大学出版社， ２００３
（责任编辑 何 丽）
Ｅｎｇｌｉｓｈ Character Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ ＢＰ Ｎｅｔwｏｒｋ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ
Ａｂｓｔｒａｃｔ： Ｔｈｉｓ ｐａｐｅｒ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｆｕｎｄａｍｅｎｔａｌ ｏｆ ＢＰ nｅｕｒａｌ nｅｔｗｏｒｋ， ｔｈｅｎ ｓｏｍｅ ｄｅｆｅｃｔｓ ｓｕｃｈ ａｓ ｓｌｏｗ ｃｏｎｖｅｒｇｅｎｃｅ ｒａｔｅ ａｎｄ easy to get ｉｎｔｏ ｌｏｃａｌ ｍｉｎｉｍｕｍ ｉｎ ＢＰ ａｌｇｏｒｉｔｈｍ ａｒｅ ｐｏｉｎｔｅｄ ｏｕｔ， ｆｉｎａｌｌｙ， ｉｎ ｖｉｅｗ ｏｆ ｔｈｅｓｅ ｌｉｍｉｔａｔｉｏｎｓ， ｓｅｖｅｒａｌ ｍｅｔｈｏｄｓ ａｒｅ ｌｅｄ ｔｏ ｏｐｔｉｍｉｚｅ ＢＰ ａｌｇｏｒｉｔｈｍ． Ａｉｍｉｎｇ ａｔ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｐｐｌｉｃａｔｉｏｎ， ｗｉｔｈ Ｍａｔｌａｂ ｐｒｏｇｒａｍｍｉｎｇ ｔｏｏｌ， ｔｈｉｓ ｐａｐｅｒ ｓｔｕｄｉｅｓ ｔｈｅ ｔｒａｉｎｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅｓｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｔｈｒｏｕｇｈ ｃｏｍｐａｒｉｓｏｎ． Ｏｎ ｔｈｉｓ ｂａｓｉｓ， ｔｈｉｓ ｐａｐｅｒ ｏｆｆｅｒｓ ｋｉｎｄｓ ｏｆ ｐｒｏｇｒａｍｍｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｕｓｉｎｇ ＢＰ ｎｅｔｗｏｒｋ ｔｏ ｒｅｃｏｇｎｉｚｅ ｔｈｅ ｎｏｉｓｙ Ｅｎｇｌｉｓｈ character． Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ improved ｍｅｔｈｏｄｓ ｉｎｃｒｅａｓｅ ｅｆｆｉｃｉｅｎｔｌｙ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ＢＰ ａｌｇｏｒｉｔｈｍ．
Ｋｅｙ ｗｏｒｄｓ： ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ｌｅａｒning ａｌｇｏｒｉｔｈｍ， ＢＰ neural network
发布时间：2010-7-16 11:10:14 点击：282 次
