22630

طراحي كنترل كننده ردياب بهينه چندمدله براي سيستم غيرخطي بر مبناي يادگيري تقويتي

كارشناسي ارشد

كنترل

1397

1399/4/10

دكتر سعيد شمقدري

برق

به‌منظور استقلال از دانش ديناميك سيستم در كنترل سيستم‌هاي خطي و غيرخطي، رويكردهاي زيادي به‌عنوان سيستم‌هاي مستقل از مدل يا مبتني برداده مطرح‌شده‌اند. در مفهوم مهندسي كنترل، يادگيري تقويتي فضاي خالي بين كنترل تطبيقي سنتي و الگوريتم‌هاي كنترل بهينه را تا حدي پر مي‌كند. هدف يادگيري سياست بهينه و تابع مقدار براي يك سيستم فيزيكي داراي عدم قطعيت است. برخلاف كنترل بهينه‌ي سنتي، يادگيري تقويتي راه‌حل مسئله HJB را به‌صورت آنلاين محاسبه مي‌كند. يادگيري تقويتي در مهندسي كنترل، تاكنون كاربردهاي گسترده‌اي داشته و مبحث كنترل بهينه چند‌مدله و به‌خصوص كنترل تحمل‌پذير خطا عرصه‌اي است كه نياز به روشي مستقل از مدل در آن خودنمايي مي‌كند. بااين‌حال، طبق مطالعات صورت گرفته، با توجه به قديمي نبودن مباحث يادگيري تقويتي در كنترل، تاكنون پژوهش چندان زيادي در زمينه كنترل بهينه چندمدله با يادگيري تقويتي صورت نگرفته است و روش‌هاي ارائه‌شده نيز، داراي نقايص و دشواري‌هايي هستند كه استفاده از آن‌ها را در كاربرد گسترده دچار مشكل مي‌كند. اين پژوهش، مبتني بر روش موجود در تركيب الگوريتم‌هاي يادگيري تقويتي و خوشه‌بندي ART مي‌باشد تا تغييرات در ديناميك محيط را باهدف كنترل بهينه سيستم‌هاي چند‌مدله بررسي نمايد. برجسته‌ترين مشكل روش‌هاي موجود حجم محاسباتي بالا و سرعت پايين براي سيستم‌هاي پيچيده‌تر مي‌باشد. روش ارائه‌شده در اين پژوهش با هدف كنترل تحمل‌پذير خطا و در نظر گرفتن خطاهاي پيش‌بيني‌شده و به‌منظور كاهش حجم محاسباتي و حفظ عملكرد برخط سيستم كنترلي مي‌باشد. در بخش شبيه‌سازي، روش پيشنهادي با روش كلاسيك مورد مقايسه قرارگرفته است. نتايج حاصل كارايي روش ارائه‌شده را در كنترل بهينه سيستم‌هاي چند‌مدله نشان مي‌دهد.

1399/08/07

Design of an Optimal Multi-model Tracking Controller for a Non-Linear System – A Reinforcement Learning Approach

6/30/2020 12:00:00 AM

In order to be independent of the knowledge of system dynamics in the control of linear and nonlinear systems, many approaches have been proposed as model-independent or data-based systems. In the concept of control engineering, reinforcement learning fills the gap between traditional adaptive control and optimal control algorithms to some extent. The goal is to learn the optimal policy and value function for a physical system with uncertainty. Contrary to traditional optimal control, reinforcement learning calculates the solution to the HJB problem online. Reinforcement learning in control engineering has been widely used so far, and the issue of optimal multi-model control, especially fault-tolerant control, is an area in which the need for a model-independent method is evident. However, according to studies, due to the fact that the topics of reinforcement learning in control are not old, not much research has been done on the optimal control of multimodal learning with reinforcement learning, and the proposed methods have drawbacks and difficulties that use them in application. Widespread trouble. This research is based on the existing method in combining reinforcement learning algorithms and ART clustering to investigate changes in environmental dynamics with the aim of optimal control of multimodal systems. The most prominent problem of existing methods is the high computational volume and low speed for more complex systems. The method presented in this research aims to control the tolerable error and to consider the predicted errors in order to reduce the computational volume and maintain the online performance of the control system. In the simulation section, the proposed method is compared with the classical method. The results show the efficiency of the proposed method in the optimal control of multimodal systems.

يادگيري تقويتي , كنترل ردياب