一种基于模糊神经网络采用再励学习的PID控制器
摘要
PID控制是最早发展起来的控制策略之一，在控制理论和技术飞速发展的今天，PID控制由于其简单、稳定性能好、可靠性能高等优点，仍广泛的应用于冶金、机械、化工等工业过程控制之中。虽然许多其它的控制理论和技术日趋完善，但目前大多数工业过程仍采用PID控制，而采用高级控制技术的控制回路数只占10％左右，可见PID控制在工业控制中占据非常重要的地位。随着现代工业生产的飞速发展，进行过程控制系统设计时，除要求系统具有较高的动态品质和静态品质指标外，还必须保证系统具有良好的鲁棒性。
在PID控制中，被控对象的控制品质的优劣情况在很大程度上依赖于PID控制器中K_p、K_i、K_d三个参数的整定。根据不同的被控对象适当的调整PID的三个参数，可以获得比较满意的控制效果。实践证明，这种参数整定的过程，实际是对比例、积分和微分三种控制作用的折中。应该指出，虽然存在许多PID参数的整定方法及经验公式，但是这种整定不但费时间，而且，参数间相互影响，往往难以收到最佳效果。
传统的参数整定方法都是根据对象特性离线进行的，即当PID三个参数经离线整定后相对固定，不能根据对象特性变化和动态过程在线修改参数，不具有主动适应系统或环境变化的能力。这样，即使对被控对象整定了一组满意的PID控制参数，当对象特性发生变化时，也难以保持良好的控制性能。当被控对象存在非线性时，常规PID控制器往往不能保证良好的控制性能。对于大惯性，大时滞的对象，其控制效果亦不能令人满意。为此，必须设计出一种能够自动调整K_p、K_i、K_d的PID空制器。
近年来，智能控制无论是在理论上还是在应用上均得到了长足的发展。如何将PID控制器同智能控制更好的结合在一起，使控制领域几十年来长用不衰的PID控制器能发扬光大，更好地应用于实际控制系统，是控制领域中人们不断研究和探索的重要课题。在自动控制领域，许多研究人员将智能控制技术和常规PID控制方法有机的融合在一起，形成了许多形式的智能PID控制器。这种新型控制器已引起人们的普遍关注和极大兴趣，并已得到较为广泛的应用。
本文正是以上述课题为着眼点，以神经网络中再励学习的知识为基础，将PID控制技术与智能控制中的再励学习及模糊控制技术结合
一种8子挨翩讨佐网啥宗用天励学习的nD擅奶8
起来，形成一种基于模糊神经网络采用再励学习的PID控制器。我们
把K／K、K。三个参数作为神经网络ASN（行为选择网络）的榆出，
通过计算被控系统的实际榆出，将实际输出和理想榆出加以比较，产
生一再励信号，根据再励信号对ASN网络及AEN（行为评价网络）网
络的权值进行修正，不断改变ASN网络的输出，这样就改变了PID控
制器的三个参数，从而达到了在线调整＊D控制器参数的目的。
本文内容共分为五部分按以下顺序安排：
一、常规PID控制器控制原理及现阶段的发展
阐述了常规＊D控制器的控制原理，并分别叙述了现阶段智能化
ND控制器的发展状况。
二、再励学习
重点阐述了神经网络中的再励学习算法的基本原理。
H、再励学习和HD控制64结合
本部分将再励学习、模糊控制及PID控制相结合，论述了它的结
构和各部分的工作原理。
四、仿真实验
将基于模糊神经网络采用再励学习的PID控制器应用到实际控制
中，并得到较好的仿真结果。
五、结束语
在PID控制中，被控对象的控制品质的优劣情况在很大程度上依赖于PID控制器中K_p、K_i、K_d三个参数的整定。根据不同的被控对象适当的调整PID的三个参数，可以获得比较满意的控制效果。实践证明，这种参数整定的过程，实际是对比例、积分和微分三种控制作用的折中。应该指出，虽然存在许多PID参数的整定方法及经验公式，但是这种整定不但费时间，而且，参数间相互影响，往往难以收到最佳效果。
传统的参数整定方法都是根据对象特性离线进行的，即当PID三个参数经离线整定后相对固定，不能根据对象特性变化和动态过程在线修改参数，不具有主动适应系统或环境变化的能力。这样，即使对被控对象整定了一组满意的PID控制参数，当对象特性发生变化时，也难以保持良好的控制性能。当被控对象存在非线性时，常规PID控制器往往不能保证良好的控制性能。对于大惯性，大时滞的对象，其控制效果亦不能令人满意。为此，必须设计出一种能够自动调整K_p、K_i、K_d的PID空制器。
近年来，智能控制无论是在理论上还是在应用上均得到了长足的发展。如何将PID控制器同智能控制更好的结合在一起，使控制领域几十年来长用不衰的PID控制器能发扬光大，更好地应用于实际控制系统，是控制领域中人们不断研究和探索的重要课题。在自动控制领域，许多研究人员将智能控制技术和常规PID控制方法有机的融合在一起，形成了许多形式的智能PID控制器。这种新型控制器已引起人们的普遍关注和极大兴趣，并已得到较为广泛的应用。
本文正是以上述课题为着眼点，以神经网络中再励学习的知识为基础，将PID控制技术与智能控制中的再励学习及模糊控制技术结合
一种8子挨翩讨佐网啥宗用天励学习的nD擅奶8
起来，形成一种基于模糊神经网络采用再励学习的PID控制器。我们
把K／K、K。三个参数作为神经网络ASN（行为选择网络）的榆出，
通过计算被控系统的实际榆出，将实际输出和理想榆出加以比较，产
生一再励信号，根据再励信号对ASN网络及AEN（行为评价网络）网
络的权值进行修正，不断改变ASN网络的输出，这样就改变了PID控
制器的三个参数，从而达到了在线调整＊D控制器参数的目的。
本文内容共分为五部分按以下顺序安排：
一、常规PID控制器控制原理及现阶段的发展
阐述了常规＊D控制器的控制原理，并分别叙述了现阶段智能化
ND控制器的发展状况。
二、再励学习
重点阐述了神经网络中的再励学习算法的基本原理。
H、再励学习和HD控制64结合
本部分将再励学习、模糊控制及PID控制相结合，论述了它的结
构和各部分的工作原理。
四、仿真实验
将基于模糊神经网络采用再励学习的PID控制器应用到实际控制
中，并得到较好的仿真结果。
五、结束语
引文
1. Zomaya A Y. Reinforcement Learning for Adaptive Control of Nonlinear Systems. IEEE Trans, 1994, SMC-24:357～363
2. Kaelbing L P. Associative Reinforcement Learning: Function in K-DNF. Maching Learning, 1994, (15): 279～298
3. Kaelbing L P. Associative Reinforcement Learning: A Generation and Test Algorithm. Machine Learning, 1994, (15): 299～319
4. Franklin J A. Refinement of Robot Motor Skills through RL. Proc 27th Conference on Decision and Control, 1988: 1096～1101
5. Hoskins J C. et al. Process Control via ANN and RL. Computers in Chemical Engineering, 1992, 16:214～251
6. Sutton R S. Reinforcement Learning is Direct Adaptive Optimal Control. IEEE Control Systems, 1992:19～22
7. Berenji H R, et al. Learning and Tuning Fuzzy Logic Controller through Reinforcement. IEEE Trans on NN, 1992, 30:724～740
8．王锦标，方崇智编著．过程计算机控制．北京：清华大学出版社，1992
9．张乃尧，阎平凡编著．神经网络与模糊控制．北京：清华大学出版社，1998
10．袁曾任编著．人工神经元网络及其应用．北京：清华大学出版社，1990
11．苏晓生编著．掌握MATLAB 6.0及其工程应用．科学出版社．2002年．
12．闻新，周露，王丹力，熊晓英编著．MATLAB神经网络应用设计．科学出版社．2000年．
13．阎平凡，再励学习—原理、算法及其在智能控制中的应用，1996，25(1)：28～34．
14．谭永红．基于BP神经网络的自适应控制．控制理论与应用，1994，11(1)：84～87．
15．符永法．几种新型PID调节器参数的自整定法．化工自动化及仪表，1997，24(1)：25～29．
16．葛芦生，陶永华．新型PID控制器及其发展．工业仪表与自动化仪表，1998(3)：55～59．
17．张恩勤，施颂椒，翁正新．模糊控制与PID控制方法的比较．上海交通大学学报，1999，32(4)．
19．赵望达，鲁五一，徐志胜，刘子建。PID控制器及其智能化方法探讨化工自动化及仪表，1999，26(6)
19．魏克新，高强，陈在平．模糊控制中解模糊方法的研究．控制与决策，1997，12(增刊)：477～481．
2. Kaelbing L P. Associative Reinforcement Learning: Function in K-DNF. Maching Learning, 1994, (15): 279～298
3. Kaelbing L P. Associative Reinforcement Learning: A Generation and Test Algorithm. Machine Learning, 1994, (15): 299～319
4. Franklin J A. Refinement of Robot Motor Skills through RL. Proc 27th Conference on Decision and Control, 1988: 1096～1101
5. Hoskins J C. et al. Process Control via ANN and RL. Computers in Chemical Engineering, 1992, 16:214～251
6. Sutton R S. Reinforcement Learning is Direct Adaptive Optimal Control. IEEE Control Systems, 1992:19～22
7. Berenji H R, et al. Learning and Tuning Fuzzy Logic Controller through Reinforcement. IEEE Trans on NN, 1992, 30:724～740
8．王锦标，方崇智编著．过程计算机控制．北京：清华大学出版社，1992
9．张乃尧，阎平凡编著．神经网络与模糊控制．北京：清华大学出版社，1998
10．袁曾任编著．人工神经元网络及其应用．北京：清华大学出版社，1990
11．苏晓生编著．掌握MATLAB 6.0及其工程应用．科学出版社．2002年．
12．闻新，周露，王丹力，熊晓英编著．MATLAB神经网络应用设计．科学出版社．2000年．
13．阎平凡，再励学习—原理、算法及其在智能控制中的应用，1996，25(1)：28～34．
14．谭永红．基于BP神经网络的自适应控制．控制理论与应用，1994，11(1)：84～87．
15．符永法．几种新型PID调节器参数的自整定法．化工自动化及仪表，1997，24(1)：25～29．
16．葛芦生，陶永华．新型PID控制器及其发展．工业仪表与自动化仪表，1998(3)：55～59．
17．张恩勤，施颂椒，翁正新．模糊控制与PID控制方法的比较．上海交通大学学报，1999，32(4)．
19．赵望达，鲁五一，徐志胜，刘子建。PID控制器及其智能化方法探讨化工自动化及仪表，1999，26(6)
19．魏克新，高强，陈在平．模糊控制中解模糊方法的研究．控制与决策，1997，12(增刊)：477～481．