27377

كنترل سيستم هاي چندعاملي به كمك يادگيري تقويتي انتقالي

كارشناسي ارشد

مهندسي برق//كنترل

1399-1401

1401/6/31

دكتر حسين بلندي

مهندسي برق

امروزه براي حل بسياري از مسائل، از سيستم‌هاي چندعاملي مشاركتي استفاده مي‌شود كه در آن گروهي از عامل‌ها براي رسيدن به يك هدف مشترك همكاري مي‌كنند. همكاري ميان عاملها فوايدي همچون كاهش هزينه‌هاي عملياتي، مقياس‌پذيري بالا و سازگاري قابل‌توجه را به ارمغان خواهد آورد. براي آموزش اين عامل‌ها در رسيدن به يك سياست بهينه، از يادگيري تقويتي بهره خواهند گرفت. يادگيري در محيط‌هاي چندعاملي مشاركتي پويا، غيرقطعي و با اندازه فضاي حالت بزرگ به يك چالش بسيار مهم در برنامه‌هاي كاربردي تبديل شده است. ازجمله اين چالش‌ها مي‌توان به تأثير اندازه فضاي حالت بر مدت‌زمان يادگيري و همچنين همكاري ناكارآمد ميان عامل‌ها و عدم وجود هماهنگي مناسب در تصميم‌گيري عامل‌ها اشاره كرد. همچنين هنگام استفاده از الگوريتم‌هاي يادگيري تقويتي نيز با چالش‌هايي نظير دشواري تعيين هدف يادگيري مناسب و زمان طولاني همگرايي ناشي از يادگيري مبتني بر آزمايش‌وخطا مواجه خواهيم بود. در اين پايان¬نامه با استفاده از يادگيري انتقالي در يادگيري تقويتي و به‌اشتراك‌گذاري دانش ميان عامل‌ها سعي شده تا الگوريتم جديدي پيشنهاد شود تا بتواند به‌صورت هم‌زمان از كارائي سيستم‌هاي چندعاملي و يادگيري تقويتي بهره برده و داراي نتايج بهتري نسبت به سيستم تك عاملي باشد. واژه‌هاي كليدي: سيستم‌هاي چندعاملي مشاركتي، يادگيري تقويتي، يادگيري انتقالي

1401/08/18

Control of multi-agent systems using transfer reinforcement learning

9/22/2023 12:00:00 AM

Today, to solve many problems, cooperative multi-agent systems are used, in which a group of agents cooperate to reach a common goal. Cooperation between agents will bring benefits such as reduced operational costs, high scalability and significant adaptability. To train these agents in reaching an optimal policy, they will benefit from reinforcement learning. The issue of learning in dynamic, non-deterministic and large state space collaborative multi-agent environments has become a very important challenge in applications. Among these challenges, we can mention the effect of the size of the state space on the duration of learning, as well as the inefficient cooperation between the agents and the lack of proper coordination in the decision-making of the agents. Also, when using reinforcement learning algorithms, we will face challenges such as the difficulty of determining the appropriate learning goal and the long convergence time caused by trial and error based learning. In this thesis, by using transfer learning in reinforcement learning and sharing knowledge between agents, a new algorithm has been proposed so that it can simultaneously benefit from the efficiency of multi-agent systems and reinforcement learning and have better results than the single-agent system. Keywords: collaborative multi-agent systems, reinforcement learning, transfer learning

سيستم‌هاي چندعاملي مشاركتي , يادگيري تقويتي , يادگيري انتقالي

collaborative multi-agent systems , reinforcement learning , transfer learning

Amirhossein Ghasemi

Dr.Hossein Bolandi