基于改进遗传算法的递归神经网络模型辨识

第５卷第２期　太原师范学院学报（自然科学版）　２００６年６月　ＪＯＵＲＮＡＬ　ＯＦ　ＴＡＩＹＵＡＮ　Ｎ０ＲＭＡＬ　ＵＮＩＶＥＲＳＩＴＹ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）　Ｖｏ１．５　Ｎｏ．２　Ｊｕｎ．　２００６　基于改进遗传算法的递归神经网络模型辨识　王　磊　（西北师范大学数学与信息科学学院，甘肃兰州７３００７０）　［摘要］　将递归内时延神经网络应用于非线性动力学系统中，引入遗传算法作为其学习算法，　提出遗传算法新的编码方案，并且在遗传操作中采用适应度的调整策略，通过仿真实验，表明该方　法是有效的．　［关键词］递归网络；遗传算法；辨识　［文章编号］　１６７２—２０２７（２００６）０２—００１７－０３　［中图分类号］　ＴＰ１８３　［文献标识码］　Ａ　Ｏ　引言　系统建模和辨识是控制理论的基本问题．近年来，神经网络因其具有强大的非线性系统辨识能力，已经　广泛用于系统辨识中．系统辨识是在输入和输出数据的基础上，从一组给定的模型中确定一个与所测系统等　价的模型，但大部分辨识对象的模型选择是建立在线性系统理论之上的，传统的方法对于复杂的非线性对象　的辨识，一直未能很好地解决［１］．为解决复杂非线性系统的辨识问题，可利用神经网络所具有的学习能力及　非线性特性．　１递归神经网络　人工神经网络是由若干神经元以一定方式相互连接构成的高度并行的非线性系统．目前常采用的基于　前向神经网络的非线性系统辨识算法，在用于对非线性动态系统辨识时，存在如下缺点：必须假定系统　ＮＡＲＭＡ（非线性自回归滑动平均）模型类别和模型的阶次；而且随着系统阶次的增加，网络结构迅速膨胀，　学习收敛速度下降；另外，大量的输入节点对外部噪声比较敏感［２］．相比之下，动态递归神经网络提供了一种　极具潜力的选择＿３］．　递归网络（Ｒｅｃｕｒｒｅｎｔ　ｎｅｔｗｏｒｋ，ＲＮＮ）是具有反馈的网络，是动态网，本文采用内时延网络结构，内时延　反馈网络有输入层、输出层和隐层，但只有隐层节点具有时延反　馈，其结构如图１所示．网络动力学方程为：　Ｘ１（ｆ）一Ｗ２Ｏｌ（ｆ一１）＋ＷｌＸ（ｆ）　（１）　输入层　隐层　输出层　Ｏｌ（ｆ）一ｆ］（Ｘ］（ｆ））　Ｏ（ｆ）一ｆ２（　３Ｗｌ（ｆ））　（２）　（３）　其中式（１）～（３）中：ｘ、ｘ　、Ｏ　、Ｏ分别为网络输入量、隐层输　入量、隐层输出量、网络输出量；Ｗ　、Ｗ。、Ｗ。分别为输入层至隐　层、隐层节点间（包括自身）和隐层至输出层之间的连接权矩阵；　图１　内时延递归型反馈网络　Ｆｉｇ．１　Ｉｎｔｅｒｕａｌ　ｔｉｍｅ—ｄｅｌａｙ　ｒｅｃｕｒｒｅｎｔ　ｆｅｅｄｂａｃｋ　ｎｔｅｗｏｒｋ　厂　（●）、ｉｓ（●）分别为隐层神经元和输出层神经元的作用函数，　厂　（●）为　型函数（厂　（ｚ）一１／（１＋Ｐ～）），厂２（●）为线性求和函　数．　从以上动力学方程可知，由于隐层存在反馈连接，在任意给定时刻网络的输出受到网络过去输入／输出　的影响，其影响程度由隐层节点间的连接权矩阵决定．递归网络权值的训练通常采用动态ＢＰ学习算法，需　收稿日期：２００６—０４—０７　作者简介：王磊（１９７６一），女，甘肃兰州人，西北师范大学数学与信息科学学院在读硕士　维普资讯 http://www.cqvip.com

１８　太原师范学院学报（自然科学版）　第５卷　要计算递归网络输出关于权值的动态导数，计算复杂，代价高，极大地了递归网络在辨识与控制中的应　用，若采用改进遗传算法全局搜索递归网络最优权值，则其性能将会大大改善．　２改进遗传算法描述　遗传算法是一种将问题求解表示成“染色体”，从而构成一群“染色体”，再将它们置于问题的“环境”中，　根据适者生存的原则，从中选择出适应环境的“染色体”进行复制，即再生（ｒｅｐｒｏｄｕｃｔｉｏｎ）．通过交叉　（ｃｒｏｓｓｏｖｅｒ）、变异（ｍｕｔａｔｉｏｎ）两种基因操作产生出新一代更适应环境的“染色体”群，这样一代代地不断进　化，最后收敛到一个最适应环境的个体上，求得问题的最优解［４］．但是传统的遗传算法存在很大的缺陷，如快　速局部收敛等，因此需对传统的遗传算法进行改进．　２．１编码方式　．　常用的编码方式有两种：二进制编码和实数编码．习惯上常用的二进制编码方式，实际上是用离散值来　尽量逼近网络实数权值，这样就可能因某些实数权值不能被精确表达而导致训练失败；另外，为提高二进制　表达的精度，必须引入更多的位，使得位串比较长，这使得算法的收敛率较差．　基于上述原则，我们采用实数编码方式．每个连接权值直接用一实数表示．一个网络的权值分布用一组　实数表达，把与同一隐结点相连的权所对应的实数放在一起．例如，某网络结构及其数值编码如图２．　网络权值的编码为：（　。，Ｗ　，ｂ。，Ｗ。，Ｗ。，ｂ。，Ｗ　，Ｗ５，ｂ１）　２．２参数　种群规模Ｎ－－５０，码串长度Ｌ－－１２０，迭代终了的代数　一５００．　２．３适应度函数　声　ｙ　目标函数为：Ｅ一　∑∑　（忌）一　（忌））］。　，ｐ＝１　＝１　其中：ｄ（惫）为输出样本；　（足）为神经网络输出；Ｐ为输入／输出样本组　数，　为网络输出结点数，目标是搜索最优权值，使Ｅ最小．取适应度函数为　ｆ一１／Ｅ．　ｘｌ　图２网络权值的编码　２．４选择算子　采用轮盘赌法和最优个体保存法．先保留父代个体中适应度大和次大　的个体，直接进入交叉操作中，再利用轮盘赌法对其他个体进行选择，直到Ｆｉｇ・２　Ｎｅｔｗｏｒｋ　ｓ　ｗｅｉｇｈｔ　ｃｏｄｌｉｎｇ　产生Ⅳ个个体．这样可使最优和次优个体不丢失，适应度低的个体也有被选中的可能，保证了个体的多样　性．　２．５交叉算子　以概率尸ｃ进行一点交叉运算，尸ｃ随着适应值的变化自适应调整．调整算法为：　Ｐ　一　忌　，　≥　ｋ。，　厂ｃ＜厂ａ　式中：厂ｃ为交叉前父代双亲中适应值大者；厂ｍ　，厂ａ　为群体最大适应值及平均适应值；忌　，ｋ２—１．　２．６变异算子　按变异概率Ｐ　随机选择变异个体，变异位置的确定由随机的方法产生．Ｐ　随着适应值的变化自适应　调整的算法为：　Ｉ　ｋ　Ｐ　一　ｆ一一ｆｍ　。厂ｍ　一厂ａ　’　≥　ｋ　４，　ｆｍ＜ｆ　ｇ　式中：厂搠为需变异的个体的适应值；厂ｍ　，厂ａ　为群体最大适应值及平均适应值；忌。，ｋ４—０．５．　２．７适应度调整　在后期，即使保持了种群中个体的多样性，但若厂ｍ　，厂ａ　很接近，则厂ｍ　的个体与厂ａ　附近的个体被选中　维普资讯 http://www.cqvip.com

第２期　王磊：基于改进遗传算法的递归神经网络模型辨识　１９　的概率相差无几，使选择趋于随机化，适应度的作用减少，搜索趋于停顿，因此也需进行适应度调整．。　适应度调整为线性调整：　一ａｆ＋６式中：厂，　分别为调整前、调整后个体的适应度；口，ｂ为常系数．　３仿真研究　例：在ＭＡＴＬＡＢ环境［５］下对一个单输入一单输出（ＳＩＳＯ）的非线性对象进行仿真研究，对象模型为：　Ｙ　（五＋１）一ｆ（Ｙ　（五），Ｙ　（五一１），Ｙ　（五一２），“（五），ｕ（ｋ一１））　其中ｆ（ｘ・　ｚ　ｓ）＝　竿　系统当前的输出取决于２个输入延迟和３个输出延迟，训练时，随机取５　０００个［Ｏ，１］之间的数，训练结　束后采用如下测试信号：　．　ｎ　０＜ｋ≤２５０　“（五）一　１．Ｏ　２５０＜ｋ≤５００　一１．Ｏ　５００＜ｋ≤７５０　ｏ．３ｓｉｎ　＋ｏ．１ｓｉｎ　＋　７５０＜ｋ≤７５０　采用的递归神经网络结构为：２—４—１，即２个　１　输入节点Ｙ（五）和“（五），输出层为一个节点Ｙ（五　＋１），待优化参数共２８个权值，共训练２５０代，　ｎ　进化结束．　由图３可得知ＳＩＳＯ对象输出Ｙ　（五＋１）和拿　ＲＮＮ的输出Ｙ　（五＋１），可以看出基于遗传算法　０　的学习辨识阶未知对象是有效的．　４　结束语　＿。　本文采用具有内时延反馈的递归网络对非　线性动态系统建模，利用改进的遗传算法编码方　１　０　２００　４００　６ｏｏ　８００　１　ｏ（）０　案，并对适应度进行调整，克服了一般的梯度下　ｋ　降法的对初始值敏感、容易陷入局部极值的弱　图３两者输出比较　点，由于不需计算权值的动态导数，因而降低了　Ｆｉｇ．３　Ｃｏｍｐａｒｉｎｇ　ｔｗｏ　ｏｕｔｐｕｔ　算法的计算复杂性，提高了算法的收敛速度和搜　索全局最优解的能力．　参考文献：　［１３徐丽娜．神经网络控制［Ｍ］．北京：电子工业出版社，２００３　［２３薛力红，申东日，陈义俊，等．基于改进遗传算法的神经网络模型辨识［Ｊ］．计算机仿真，２００４，２１（１２）：９０—９１　［３３冯浩，何鸿云，米祖强．基于改进遗传算法的递归神经网络非线性系统辨识［Ｊ］．西南交通大学学报，２００２，３７（４）：４０４—４０７　［４２申　敏．遗传算法与神经网络在模式分类中的应用［Ｊ］．重庆邮电学院学报，１９９８，１０（２）：１４—１６　［５３刘卫国．ＭＡＴＬＡＢ程序设计教程［Ｍ］．北京；中国水利水电出版社，２００５　（下转第３７页）　维普资讯 http://www.cqvip.com

第２期　呙林兵：矩阵若当标准形的另一种求法　３７　从而Ａ的若当标准形为Ｊ一　参考文献：　Ｅｌｉ北京大学数学系几何与代数教研室代数小组．高等代数［Ｍ］．北京：高等教育出版社１９８８　Ｅ２］钱吉林．高等代数题解精粹［Ｍ］．北京：民族大学出版社，２００２　１　Ｏ　Ｏ　Ｏ　Ｏ　１　１　Ｏ　Ａｎｏｔｈｅｒ　Ｍｅｔｈｏｄ　ｔｏ　Ｗｏｒｋ　ｏｕｔ　Ｍａｔｒｉｘ　Ｊｏｒｄａｎ　Ｃａｎｏｎｉｃａｌ　ｆｏｒｍ　Ｏ　Ｏ　Ｏ　１　Ｏ　Ｏ　１　１　Ｇｕｏ　Ｌｉｎｂｉｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｍａｔｈｅｍａｔｉｃｘｓ；Ｙａｎｇｔｚｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉｎｇｚｈｏｕ　４３４０００，Ｃｈｉｎａ）　￣Ａｂｓｔｒａｃｔ３　Ｔｈｅ　ａｒｔｉｃｌｅ　ｆｉｒｓｔｌｙ　ｗｏｒｋ　ｏｕｔ　ｔｈｅ　ｅｉｇｅｎｖａｌｕｅｓ　ｏｆ　ｔｈｅ　ｍａｔｒｉｘ，ｔｈｅｎ　ｗｅ　ｄｅｃｉｄｅ　ｔｈｅ　ｊｏｒｄａｎ　ｂｌｏｃｋ　ｎｕｍｂｅｒ　ｏｆ　ｅａｃｈ　ｅｉｇｅｎｖａｌｕｅｓ　ａｎｄ　ｔｈｅ　ｐｒｏｇｒｅｓｓｉｏｎ　ｏｆ　ｅａｃｈ　Ｊｏｒｄａｎ　ｂｌｏｃｋ，ｔｈｉｓ　ｐｒｏｄｕｃｅｓ　ａｎｏｔｈｅｒ　ｍｅｔｈｏｄ　ｔｏ　ｗｏｒｋ　ｏｕｔ　ｍａｔｒｉｘ　Ｊｏｒｄａｎ　ｃａｎｏｎｉｃａｌ　ｆｏｒｍ　ｏｆ　ｍａｔｒｉｘ．　ＥＫｅｙ　ｗｏｒｄｓ］ｍａｔｒｉｘ；ｊｏｒｄａｎ　ｃａｎｏｎｉｃａｌ　ｆｏｒｍ；ｅｉｇｅｎｖａｌｕｅｓ；ｊｏｒｄａｎ　ｂｌｏｃｋ　【责任编辑：王映苗】　（上接第１９页）　Ｎｏｎｌｉｎｅａｒ　Ｓｙｓｔｅｍ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｗｉｔｈ　Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　ｏｎ　Ｉｍｐｒｏｖｅｄ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍ　Ｗａｎｇ　Ｌｅｉ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ，Ｎｏｒｔｈｗｅｓｔ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｌａｎｚｈｏｕ　７３００７０，Ｃｈｉｎａ）　［Ａｂｓｔｒａｃｔ］　Ａｎ　ｉｎｔｅｒｎａｌ　ｔｉｍｅ—ｄｅｌａｙ　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ（ＲＮＮ）ｉｓ　ｕｓｅｄ　ｆｏｒ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｏｆ　ｎｏｎｌｉｎｅａｒ　ｄｙｎａｍｉｃ　ｓｙｓｔｅｍｓ，ａｎｄ　ａｎ　ｉｍｐｒｏｖｅｄ　ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ａｐｐｌｉｅｄ　ｔｏ　ｔｒａｉｎ　ｔｈｅ　ＲＮＮ・Ｔｈｅ　ｓｔｒａｔｅｇｙ　ｏｆ　Ｆｉｔｎｅｓｓ　ａｄｊｕｓｔｍｅｎｔ　ｉｓ　ｕｓｅｄ　ｉｎ　ｇｅｎｅｔｉｃ　ｏｐｅｒａｔｉｏｎＡｔ　１ａｓｔ，ｓｉｍｕｌａｔｉｏｎ　．ｓｈｏｗｓ　ｔｈａｔ　ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ．　［Ｋｅｙ　ｗｏｒｄｓ］　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｇｅｎｅｔｉｃ　ａｌｇｏｒｉｔｈｍ；ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　【责任编辑：王映苗】