26166

طراحي كنترل‌كننده بهينه ايمن مبتني بر رويكرد يادگيري تقويتي و كاربرد آن در سيستم چهار تانك

كارشناسي ارشد

مهندسي برق - كنترل

1398-1400

1400/11/12

سعيد شمقدري

مهندسي برق

در اين پژوهش، به منظور حل مسئله‌ي تنظيم‌كننده‌ي خروجيِ بهينه براي يك سيستم خطي زمان-گسسته، يك كنترل‌كننده بهينه‌ي مبتني بر رويكرد يادگيري تقويتي ايمن، طراحي مي‌گردد كه رويكرد پيشنهادي شامل دو بخشِ كنترل‌كننده‌ي مبتني بر يادگيري تقويتي و فيلتر ايمني مي‌شود. براي اين منظور، مسئله مدنظر به دو مسئله بهينه‌سازي تقسيم مي‌شود و با ارائه يك الگوريتم off-policy مبتني بر يادگيري تقويتي و تنها با استفاده از داده‌هاي اندازه‌گيري شده، قانون كنترلي بهينه طراحي مي‌گردد. براي جلوگيري از بروز رفتارهاي پرخطر ناشي از عدم تضمين رعايت محدوديت‌هاي ايمني در طراحي كنترل‌كننده مبتني بر يادگيري تقويتي، فيلتر مبتني بر تابع مانع كنترل نمايي معرفي مي‌شود، اين فيلتر در قالب يك مسئله برنامه‌ريزي مرتبه-دوم، با فرض در اختيار داشتن يك مدل نامي از سيستم، ضمن بهره‌مندي از رگرسيون فرآيند گوسي و استفاده از مفاهيمي چون تابع كنترل لياپانوف و تابع مانع كنترل نمايي، اين امكان را ايجاد مي‌كند كه علاوه بر تحقق محدوديت‌هاي ورودي كنترلي، عملكرد سيستم در يك ناحيه ايمن از پيش تعيين شده، تضمين شود. نتايج حاصل از اعتبارسنجي رويكرد پيشنهادي در كنترل سيستم چهار-تانك در محيط شبيه‌سازي و پياده‌سازي آن در كنترل سيستم‌ دو-تانك، نشان مي‌دهند كه رويكرد مدنظر اين قابليت را دارد كه يك كنترل‌كننده بهينه‌ي ايمن را براي يك سيستم مينيمم‌فاز و يا غيرمينيمم‌فاز، به گونه‌اي طراحي كند كه ضمن پايداري سيستم حلقه-بسته در حضور اغتشاش و رديابي مسير مرجع، محدوديت‌هاي موجود بر روي ورودي كنترلي و حالت‌ها، محقق گردد.

1400/12/15

Design of a Safe-Optimal Controller based on Reinforcement Learning method: an application to Quadruple-Tank system

2/1/2023 12:00:00 AM

In this research, an optimal controller based on safe reinforcement learning approach is designed to solve the optimal output regulator problem for a linear discrete-time system. the proposed approach includes two parts, a controller based on reinforcement learning and a safety filter. To achieve the desired result, first, the main problem is divided into two optimization problems, then the optimal control law is designed by presenting an off-policy algorithm based on reinforcement learning and using measured data. To avoid high-risk behaviors caused by Not guarantee of safety constraints in the controller designing based on reinforcement learning, a filter based on the Exponential Control Barrier Function is introduced. this filter is a quadratic programming problem, which by assuming a known nominal model of the system and using some concepts such as Control Lyapunov Function, Exponential Control Barrier Function and Gaussian Process Regression provides conditions to realize control input constraints and guarantee the proper system function in the specific safe region. The validation results of the proposed approach, in controlling the quadruple-tank system in the simulation environment and its implementation for control the two-tank system, show that the intended approach is able to design an optimal controller for a Minimum or Non-minimum phase system, so that while stabilizing the loop-closed system in the presence of disturbance and tracking the reference trajectory, the specific constraints on the control inputs and states are realized.

تابع كنترل لياپانوف , تابع مانع كنترل نمايي , تنظيم‌كننده‌ي خروجي بهينه , سيستم چهار-تانك , سيستم‌هاي مينيمم‌فاز و غيرمينيمم‌فاز , يادگيري تقويتي ايمن

Control Lyapunov Function , Exponential Control Barrier Function , output regulation function , quadruple-Tank system , minimum and non-minimum phase systems , safe reinforcement learning

Seyyed Reza Asghari

Saeed Shamaghdari