30779

مديريت انرژي غير متمركز ريزشبكه هوشمند با حضور منابع انرژي¬ پراكنده و ‌عدم‌قطعيت در عرضه و تقاضا با استفاده از يادگيري تقويتي

دكتري

برق

97 الي 1402

1402/11/15

دكتر سعيد شمقدري - دكتر علي اكبر جلالي

دكتر حميدرضا اراسته

برق

در اين رساله، يك سيستم مديريت انرژي غيرمتمركز براي ريزشبكه¬‌هاي هوشمند با استفاده از يادگيري تقويتي و نظريه بازي‌ها طراحي مي‌گردد. هدف از طراحي، بيشينه‌كردن سود كليه منابع انرژي پراكنده الكتريكي و گرمايي اعم از تجديدپذير و غيرتجديدپذير و سيستم ذخيره انرژي باتري است به طوري كه هزينه‌هاي مشتركين كاهش ‌داده شود و از وابستگي ريزشبكه به شبكه اصلي نيز كاسته شود. به دليل ويژگي‌هاي غيرقابل پيش‌بيني خروجي منابع انرژي‌ تجديدپذير از طرفي و همچنين متغيربودن تقاضاي بار مشتركين از سمت ديگر، مساله طراحي سيستم مديريت انرژي ريزشبكه‌ها به يك مساله پيچيده و همراه با چالش تبديل شده است. استفاده از باتري به منظور ذخيره و تامين انرژي در زمان‌هاي موردنياز به دليل ويژگي‌غيرخطي بودن آن‌ها، منجر به پيچيده‌تر شدن طراحي اين سيستم‌ها شده است. علاوه بر مشكلات فوق، در سيستم‌هاي قدرت ابعاد وسيع، هنگامي كه واحدهاي توليد انرژي در شبكه پراكنده مي‌شوند، استفاده از ساختارهاي كنترل متمركز منجر به بروز مشكلاتي از قبيل افزايش حجم محاسبات و پيچيدگي در الگوريتم‌هاي كنترلي مي‌شود. بنابراين در اين رساله، يك ساختار غيرمتمركز جديد براي سيستم مديريت انرژي چندعامله در يك ريزشبكه با استفاده از روش يادگيري تقويتي معرفي مي‌گردد. با توجه به خاصيت متغيربازمان خروجي منابع انرژي تجديدپذير و تصادفي بودن مقدار بار مصرفي، از ساختار بازي‌هاي تصادفي به عنوان تلفيق پروسه‌هاي تصميم‌گيري ماركوف و نظريه بازي‌ها براي مدل‌سازي رفتار تصادفي عامل¬ها در ريزشبكه استفاده مي‌شود. نهاد‌هاي ريزشبكه شامل منابع انرژي‌ پراكنده الكتريكي و گرمايي، باتري و مصرف‌كنندگان به عنوان عامل‌هاي هوشمند و مستقل در نظر گرفته مي¬شوند كه داراي توانايي يادگيري هستند و پس از اكتشاف محيط و بهره‌برداري، سياست بهينه خود را بدست مي‌آورند. آن‌ها مي‌توانند بدون در دسترس بودن مدل عدم‌قطعيت موجود در سيستم، سود خود را بيشينه و عملكرد خود را در دراز مدت بهبود ببخشند. سيستم مديريت انرژي ريزشبكه بگونه‌اي طراحي مي‌شود كه قيود مساله نيز برآورده شود. سپس شروط همگرايي روش پيشنهادي مورد بررسي قرار مي‌گيرد و عملكرد سيستم در صورت تغيير در عامل‌هاي شبكه تحليل مي‌گردد. درنهايت با استفاده از داده‌هاي واقعي شبكه قدرت شامل توان خروجي منابع انرژي تجديدپذير و ميزان بار مصرفي، روش ارائه‌ شده شبيه‌سازي و صحت‌سنجي ‌مي‌گردد.

1403/01/27

Decentralized Energy Management of Smart Microgrid with the Presence of Distributed Energy Resources and Uncertainty in Supply and Demand Using Reinforcement Learning

1/1/1900 12:00:00 AM

In this thesis, a decentralized energy management system for smart microgrids was designed using reinforcement learning and game theory. The purpose of the design is to maximize the profit of all renewable and non-renewable distributed electrical and thermal energy sources and the battery energy storage system. In addition, the costs of the consumers are reduced and the dependence of the microgrid on the main grid is also reduced. Due to the unpredictable characteristics of the output of renewable energy sources on the one hand and also the variability of the load demand of the consumers on the other hand, the problem of designing the energy management system of microgrids has become a complex and challenging problem. Using batteries to store and supply energy at times of need due to their non-linearity has led to the complexity of the design of these systems. In addition to the above problems, in large-scale power systems, when energy production units are distributed in the grid, the use of centralized control structures leads to problems such as increasing the amount of calculations and complexity in control algorithms. Therefore, in this thesis, a new complete decentralized structure for multi-agent energy management system in a microgrid was introduced using reinforcement learning method. Due to the variable property of the output of renewable energy sources and the randomness of the consumption load, the structure of random games has been used as a combination of Markov decision processes and game theory to model the random behavior of agents in the microgrid. Microgrid entities including distributed electrical and thermal energy sources, batteries and consumers are considered as intelligent and independent agents that have the ability to learn and obtain their optimal policy via exploration and exploitation the environment. They can maximize their profit and improve their performance in the long time without the availability of the uncertainty model in the system. The microgrid energy management system is designed in such a way that the constraints of the problem are satisfied. Then the convergence conditions of the proposed method were investigated and the performance of the system was analyzed when the agents change. Finally, by using the real data of the power network, including the output power of renewable energy sources and the amount of load, the presented method was simulated and verified.

سيستم مديريت انرژي , يادگيري تقويتي , ريزشبكه , ساختار غيرمتمركز , نظريه بازي‌ها

Energy management system , Reinforcement learning , Microgrid , Decentralized structure , Game theory

Razieh Darshi

DR Saeed Shamaghdari- DR Aliakbar Jalali