单隐层前馈神经网络,多层前馈神经网络,前馈pid控制算法c程序,一种前馈神经网络算法(论文),前馈神经网络,单隐层前馈神经网络,多层前馈神经网络

一种前馈神经网络算法软件导刊;2007年19期2侯亚丽;李铁;; 基于LM优化算法的BP神经网络目标识别方法 [J];探测与控制学报;2008年01期中国硕士学位论文全文数据库前...

ｉ ● 　Ｚ　ＨＯＮＧ　ＧＵＯＫＥ　Ｊ１ＡＯ　ＢＯＬＡＮ圈圈　￡　 ● ■ 　一维普资讯 http:// 种前馈神经网络算法　王ＩｊＩｊ霞　（江西理工大学机电工程学院，江西赣州３４１０００）　摘要：神经网络由于其非线性处理能力强。性能稳定等特点得到了广泛应用和研究。主要应用　于模式识别、信号处理　知识工程、专家系统、优化组合、机器人控制等　神经网络中使用最为广泛　的就是前馈神经网络　其网络权值学习算法中影响最大的就是误差反向传播算法（ｂａｃｋ — ｐｒｏｐａｇａｔｉｏｎ　简称ＢＰ算法）ＢＰ算法存在局部极小点，收敛速度慢等缺点。基于优化理论ｉ￣Ｌｅｖｅｎｂｅｒｇ — Ｍａｒｑｕａｒｄｔ　算法忽略了二阶项　该文讨论当误差不为零或者不为线性函数即二阶项ｓ（ｗ）不能忽略时的Ｈｅｓｓｅ矩　阵的近似计算，进而训练网络　关键词：神经网络；误差反向传播算法；Ｈｅｓｓｅ矩阵　中图分类号：

ＴＰ３１２文献标识码：Ａ文章编号：１８１１ — ８７５５（２００４）０８０２　ｌ　引古　人Ｉ：

｝ｊｌＩ绎Ｉ叫络系统从２０世纪４０＂ｌｆｔｉ木诞　Ｉ　今仪　个多世纪，但由Ｊ　所具有的非线性特性，大　量的片行分　ｊ结构以及学习和　纳能力使其红往卡ｊ！』　识川、　 ‘ 处　、知识Ｊ　、　家系统、优化乡 ¨ 　机　人　制等领域　剑越术越ｆ　 ‘ 泛得　用，尼其足前馈神经　络。国内外研究的重点＿卡要集中在　网络权值学　算法，以荠雨数利网络结构等。网络仪值的学爿算法ｒｆ１影响最人的就是误差反向传播算　法（ｂａｃｋ．ｐｒｏｐａｇａｔｉｏｎ简称ＢＰ算法）。该方法　ｆｌ　向传播　误差反向传播两个过　组成。

由皿Ｐ算法　存任局部极小点，收敛速度慢等缺点，所以各种改进的ＢＰ算法纷纷山现。如ｒ，Ｊ ‘ 变的学爿速率，以提　、高算法的收敛速度，刈‘ 　ｕｊ　极小点　题，｝　多研究晕点足神经刚络与进化算法Ｉｌ　结合。进化汁算其　固有的伞局搜索能力，Ｕ ‘ 以保证经过足够多进化代数总能找到伞　最仃解。基Ｊ　优化　沦可以给出许多　权值学习算法，如　轭梯度法利Ｌｅｖｅｎｂｅｒｇ．Ｍａｒｑｕａｒｄｔ算法（简称ＬＭ算法）。很多研究和应用Ｌ｝１都　加证明的认为ＬＭ算法　有令　阶收敛性。

Ｌｊ｛＝实上，　有￣５１Ｈｅｓｓｅ矩阵的　阶项Ｓ（ｗ１趋Ｊ　零时，　能戍用ＬＭ算法，否则劂络洲练１　能收敛很慢或不收敛。

　该文讨论　１误差不为零或芹　为线性函数　阶项Ｓ（ｗ）不能忽Ⅲ ｝｝时的Ｈｅｓｓｅ矩阵的近似汁　算，进而洲练　络。该　法有较好的收敛特性　Ｉ稳定一　。

　２　２．１　酊馈｝ＩＩＩ经　络算法　向汁算　典型前馈｝ＩＩＩ经删络的结构包括输入　，隐　，输出层，各　之问实行全互连接，层内神经元之问　无连接。

　设　络Ｊ　Ｌ层，包括输入　，隐层和输出怯第，　Ｊ　有　，个神经几：

－４４Ｉ－　点，，层第ｉ个神经儿和ｌ＋１　第ｊ个｝ＩｌＩ经／已的连接十义为Ｗ，，（，），，　第Ｊ个神经兀输出为Ｙ，（，），，层输出为　１１１．　Ｉ，（，）＝∑Ｊ，『（／一１）ｗ，，（，一１）　）　，＝ｌ　其中０，（，）为第，层第ｉ个神经／　的阂值，　，（，一１）为，一１层第ｊ个神经　已的输出，Ｗ，，（，一１）为第　，一１层第ｉ个神经元币 ¨ ，层　Ｊ个神经冗的连接权，门／＿Ｊ为第，一１层神经元的个数。

ｌ：

１标函数 ‘ 般墩　期望输山与实际输山之　的平　和：

　（　）：

＝　寺 ∑ （　，　－ｙ　：

，）。

：

　寺兰 ∑ 　ｅ，２　）（　）　（２）　神经网络的训练就是求　Ｅ（　）为最小时的十义值Ｗ ‘ 般情　＿卜。｝ｊ｛『馈神经网络的激洒函数墩非　７８　２００４ ? １　１　维普资讯 http:// ＺＨ０　０ＫＥ　Ａ０Ｂ０ｋＡＮＮＧＧｕ　Ｊ　Ｉ　日圈ｉｌ ■ — －＝誓 ■ 　线性对数一ｓ彤　数（１。

ｇｓｉｇ　数），　ｌｆ（ｘ）＝　－ｌ　。

　２．２　ＬＭ算法　Ｈ标函数：

　）＝　。

（　）一　Ｐ　）　（　）的梯度：

　）＝　ａ　ｌ（　）　０ｅｌ（　）　ＯＷ。

　２）　（　（　）　０ｅｌ（　）　Ｏｅｌ（　）　ＯＷ２，　ａ　．　２，　（　）　（Ｗ）　（　）　Ｏｅ２（　）　ａＷ　其一Ｉ】Ｊ　（　）一ＯＷ。

　ＯＷｌ　ｅ　（Ｏｅ　（　）　０　）　，Ｏｅ　（　）　ＯＷ　ｚ，，　，（　）　ＯＷ。

　称为Ｊａｃｏｂｉ矧　ａ　ｌ　Ｐ　（　）一　。

，　… 　１　＝　，　＿ｅ　．　。

　ｌ，　－－．ｅ　２　】　其巾备，，　仿照ＢＰ算法汁算。

　白一　（嘻（　其中ｓ（ｗ）＝Ｐ（Ｗ）Ｖ　Ｐ　（Ｗ）　此项很难汁算，ＬＭ算法将其忽略。

　ＬＭ算法：

　＋　）　（七＋１）＝　（七）一［Ｊ　（　）　（Ｗ　）＋　Ｊｒ】　Ｊ　（　）Ｐ（　）　Ｇ＝Ｊ　（　）　（　）＋　，＝Ｈ＋　，　其ｑＪ　，项保证Ｇ　Ｉ，Ｊ　逆，　则Ｊ　Ｊ　Ｉ — Ｊ ‘ ｉｆ＇Ｅ－３￣Ｉ　Ｊ　逆，无ｆ　汁饽。

　（３）　２．３　当Ｐ（　）　足ｆ　小或肯　ｅ（Ｗ）　足线　数时的Ｈｅｓｓｅ矩阵的近似求　法一　Ｄａｖｉｄｏｎ — Ｆｌｅｔｃｈｅ卜ＰｏｗｅＩＩ算法（　ＤＦＰ算法）　＋　一　器　Ａｇ　＝Ａｅ（Ｗ（ｋ＋１））一△ Ｐ（　（　））　Ａ　＝　（ｋ＋１）一　（　）　７９　：

　ＪＩ　ｉ曰圈　￡ ■ — ■ ＝誓　Ｈ０ＮＧＧ　Ｕ０ＫＥ　ＡＯＢＯＬＡＮ维普资讯 http:// 该算法是　种叠代算法，算法　值Ｈ　选为　位　阵。

　结合ＤＦＰ算法的神经　络算法：

　ｗ（ｋ＋１）＝ｒｖ（ｋ）一【 Ⅳ（七）＋　】　（　）　（　）　（４）　足　误差　基ｒ　１．　９　神经网络算法流程　４仿真：

　用神经网络逼近。

个Ｉｆ　弦函数。

　输入ｐ＝【－ｌ：

０．０５：

ｌ】，Ｈ标输出ｔ＝ｓｉｎ（ｐｉ＊ｐ）。算法收敛速度和精度如卜　：

　１０ ’ 　 ’ 　Ｐ｜南邢口ｒ氍　ｎ∞７２Ｉ２２吼ＯＤ＿－咖　＇　ｔ　ｆ　ｔ　鼍．疫　１ｏｐ　鲁　专　 ’ 　喜　卜１０。

　～。

　 — 、、～　１　０　１　２　３　 ‘ 　５　６　塑！壁垒Ｉ　ＥｐｏｃＩＩ。叠代母曩　ＢＰ算法　参考文献　结合ＤＦＰ算法的算法　具体的仿真　口Ｊｊ，该义提【出的结合ＤＦＰ算法的神经刚络算法　有良好的收敛性，误差更小。

　【ｌ】Ｘｉｎ　Ｙａｏ，Ｓｅｎｉｏｒ　Ｍｅｍｂｅｒ　ＩＥＥＥ，ａｎｄ　Ｙｏｎｇ　Ｌｉｕ．Ａ　Ｎｅｗ　Ｅｖｏｌｕｔｉｏｎａｒｙ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｅｖｏｌｖｉｎｇ　Ａｒｔｉｉｆｃｉａｌ　８Ｏ　ＺＨ　ＧＧＵ　ＫＥＪ　ｌ　Ｂ０‘ 囝圈　 — Ｅ＿ ● ＝． ■ 　０Ｎ　０　Ａ０　ＬＡＮ维普资讯 http:// Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ．ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮ　ＯＮ　ＮＥＵＡＬ　ＮＥＴＯＲＫＳ，１　９９７，８（３）．　【２】Ｍａｒｔｉｎ　Ｔ．Ｈａｇａｎ等．Ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｄｅｓｉｇｎ．北京：机械Ｉ　业出版社，２００２．　【３】Ｊ『ｒＩ｝涣义．实用最优化方法．人连：

人连　Ｉ　人学出版礼，２０００１　【４】徐晋．　馈神经网络学　新算法及　仿真．哈尔滨向业人学学报：

自然科学版，２００４（１）：

１ — 　３．　［５】李晓东．‘ 种前馈神　网络的快速学爿算法．信　处　，２００４（２）：

１ —４．　Ａ　ＭＯＤＩＦＩＥＤ　ＦＥＥＤ— ＦＯＲＷＯＲＤ　ＮＥＵＲＡＬ　ＮＥ’ Ｉ　ＷＯＲＫ　ＬＭ　ＡＬＧＯＲＩＴＨＭ　Ｗａｎｇｌｉｘｉａ　（Ｓｃｈｏｏｌ　ｏｆ　Ｍａｃｈｉｎｅｒｙ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ，ＪＵＳＬＧａｎｚｈｏｕ，３４１　０００）　Ａｂｓｔｒａｃｔ：

Ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｉｓ　ｗｉｄｅｌｙ　ｓｔｕｄｉｅｄ　ｆｏｒ　ｉｔｓ　ｎｏｎｌｉｎｅａｒ　ｄｉｓｐｏｓａｌ　ｃａｐａｃｉｔｙ　ａｎｄ　ｇｏｏｄ　ｓｔａｂｉｌｉｔｙ．ＰａＲｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ，Ｋｎｏｗｌｅｄｇｅ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｅｘｐｅ￣Ｓｙｓｔｅｍ，Ｃｏｍｂｉｎａｔｏｒｉａｌ　Ｏｐｔｉｍｕ，ｍａｎｄ　Ｒｏｂｏｔ　Ｃｏｎｔｒｏｌ　ａｒｅ　ａｌｌ　ｃｏｎｃｅｒｎｉｎｇ　ａｂｏｕｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｄｅｓｉｇｎ．Ｆｏｒ　ｆｅｅｄ－ｆｏｒｗａｒｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ，ＢＰ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ａｍｏｎｇ　ｔｈｅ　ｍｏｓｔ　ｉｍｐｏｒｔａｔ　ｎｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｌｇｏｒｉｔｈｍｓ．ＢＰ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｉｔｓ　ｌｏｃａｌ　ｍｉｎｉｍａ　ａｎｄ　ｔｉｓ　ｓｌｏｗ　ｔｒａｉｎｉｎｇ　ｓｐｅｅｄ．Ｓｅｃｏｎｄ　ｏｒｄｅｒ　ｉｔｅｍ　ｉｓ　ｏｍｉｔｔｅｄ　ｉｎ　Ｌｅｖｅｎｂｅｒｇ — ａｒＭｑｕａｒｄｔ　ａｌｇｏｒｉｔｍ　ｈｂａｓｅｄ　ｏｎ　ｏｐｔｉｍａｌ　ｔｈｅｏｙ　ｒＴｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ａｎ　ａｐｐｒｏｘｉｍａｔｉｏｎ　ｃａｌｃｕｌａｔｉｏｎ　ｏｒｆ　Ｈｅｓｓｅ　ａｔｍｒｉｘ　ｔｏ　ｔｒａｉｎ　ｎｅｔｗｏｒｋｓ．　Ｋｅｙ　ｗｏｒｄｓ：

ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｂａｃｋ — ｐｒｏｐａｇａｔｉｏｎ　ａｌｇｏｒｉｔｔｎｎ；Ｈｅｓｓｅ　ａｔｍｒｉｘ　作行简介：

　ＦＡＩｌ麟（１９５４一），ｌ』Ｊ，江　人。江　门动化系统。

　人学硕　研究　导师，教授。

丰要研究办向：网络集　１　冈ｆｊ设（１９７８一），殳，辽　ｊ　人。｝［Ｉ｝Ｌｉ　ｌ　人学　谈　｝　研究牛，　 ‘ 业：控制理论与控制工程。

　（收稿日期：２００４ — １０ — ２４）　上接４７页　视、对立情绪。在心理咨询中发现，优秀教师在教　如果教师自身缺乏健康心理，何以能培养出心　学工作中所承受的心理压　超过普通教师，如担心　理健康的学生？业内人士介绍，造成教师大面积存　公开课上得不好的 “ 完美主义　的心态，积极面对　在心理疾病的原因并不在于教师工作之苦，而是评　工作中的挫折，调整、确立切合实际的工作目标，　价机制带来的压力。

教师的教学质量决定其评优晋　才能在真实的世界里发挥Ｔ作的潜能。

　级和奖金的发放，甚至关系到个人的 “ 饭碗 ” 。而　３、教师评价体系有待进一步完善。

怎样评价　衡量教师教学质量的标准大多是学生的考分和升学　　教师，教师能否能接受评价的方式，对教师心理有　率，这给教师带来不少心理压力。种种迹象表明，很大的影响。教师工作若得到积极的评价，便会以　教师的心理健康问题已到了必须引起全社会高度重视　　饱满的情绪、更大的精力投入工作；反之，教师若　的时候了！对评价结果不满，担心由于人为的偏差，使自己在　评价中受到误解、　信任，，则会产生心理负担，　增加工作压力。

　四、源于传统观念和社会现实之间的冲突。

　参考文献：

　１．　联合国教科文组织编著，罗进德等译．《世　界教育报告１　９９８：教师在变革世界中的教学工作》．北京　中国对外翻译出版公司．１９９８年　２．《教育学基础》．全国十二所重点师范大学联合编　写．教育科学出版社．２００２年版　３．叶澜主编．《新编教育学教程》．华东师范大学出　版社．１９９１年版　教师自身也要生存、要发展　理学家认为，　人们所经受的心理挫折以及缺乏正确的心理调节手　段，是产生心理问题的直接原因。

随着各行业收入　差距的加大，教师繁重的１：

作与＿ｒ　资待遇不高、社　会地位得　到应有的认可等现实让教师在 “ 无私奉　４．邵瑞珍．《教育心理学》．上海教育出版社．１　９　９　８　年版　献 ” 的职业道德标准面前压抑、困惑。

教师在理想　（收稿日期：２００４　９　２４）　与现实中游离一不堪重负心理失衡。

一种新的前馈神经网络训练算法及其在控制中的应用摘要神经网络控制是智能控制的重要分支,是当前控制领域的研究热点之一.本文主要对前馈神经网络的训练算法及前馈神经...

计算机科学???前馈神经网络的一种优化算法??????????????????????????????????????吴小红金炳尧浙江师范大学信息科学与工程学金华?????????????????????????????????...

一种多层前馈神经网络的快速学习算法_IT/计算机_专业资料暂无评价 | 0人阅读 | 0次下载一种多层前馈神经网络的快速学习算法_IT/计算机_专业资料.对多层前馈神经网络的学习算...

单隐层前馈神经网络,多层前馈神经网络,前馈pid控制算法c程序,一种前馈神经网络算法(论文)

时间：2012-10-24 来源: 泥巴往事网

相关文章

本类热门