23954

ارزيابي عملكرد مديريت انرژي سيستم ذخيره ساز هيبريدي بر پايه روش يادگيري تقويتي در شرايط كاري مختلف

كارشناسي ارشد

مهندسي مكانيك-مهندسي خودرو گرايش قواي محركه

1397

1399.11.20

دكتر مسعود دهمرده

مهندسي خودرو

مديريت توزيع توان مسئله كليدي براي سيستم ذخيره انرژي هيبريدي در يك وسيله نقليه الكتريكي هيبريدي است. براي دستيابي به يك توزيع بهينه توان بين باتري و ابرخازن ، استراتژي مديريت زمان واقعي مبتني بر يادگيري تقويتي (RL) مطرح مي شود. در مرحله اول ، يك چرخه رانندگي طولاني ، كه شامل تغييرات سرعت مختلف است ، انتخاب مي شود و ماتريس هاي احتمال انتقال توان بر اساس زنجيره ثابت ماركوف محاسبه مي شوند. سپس ، الگوريتم يادگيري تقويتي براي بدست آوردن يك استراتژي كنترل با هدف به حداقل رساندن اتلاف انرژي كه به عنوان پاداش كنترل عمل كننده درسيستم ذخيره انرژي هيبريدي استفاده شده است. براي كاهش بيشتر اتلاف انرژي ، ماتريس هاي احتمال انتقال توان بايد مطابق با چرخه جديد رانندگي كه براي الگوريتم يادگيري انتخاب شده به روز شوند و از نرخ واگرايي (KL) براي قضاوت در هنگام به روزرساني استراتژي مديريت توزيع توان استفاده مي شود. شرايط عوامل مختلف فراموشي و نرخ واگرايي براي جستجوي براي دست يافتن به مقدار مطلوب جهت عمل كنترل كننده مورد بحث قرار گرفته است. مقايسه بين مديريت توان آنلاين مبتني بر يادگيري تقويتي در شرايط مختلف در چرخه هاي رانندگي استاندارد نشان مي دهد كه استراتژي مديريت توان آنلاين مبتني بر يادگيري تقويتي مي تواند به طور موثر از دست دادن انرژي را بيش از 5 درصد كاهش دهد و تلفات انرژي را در چرخه هايي مختلف رانندگي كه عمل يادگيري بر اساس الگوريتم Q انجام مي شود به حداقل برساند. سرانجام ، استراتژي در شرايط مختلف مانند عمر باتري، حالت هاي اوليه شارژ و چرخه رانندگي تأييد مي شود. نتايج نشان مي دهد كه نه تنها استراتژي مديريت زمان واقعي مبتني بر يادگيري تقويتي مي تواند حداكثر جريان تخليه و فركانس شارژ بسته باتري را كاهش دهد ، بلكه مي تواند باعث افزايش طول عمر باتري و بهبود عملكرد ظرفيت باتري بيش از 20 درصد و بهينه سازي بازده سيستم شود.

1400/03/26

Performance evaluation of a reinforcement learning-based energy management for hybrid energy storage system at different working conditions

2/9/2022 12:00:00 AM

Power distribution management is a key issue for a hybrid energy storage system (HESS) in a hybrid electric vehicle. To achieve an optimal power distribution between the battery and the supercapacitor, a real-time energy management strategy based reinforcment learning (RL) is proposed. In the first step, a long driving cycle, involving various speed changes, is selected and the power transfer probability matrices are calculated based on the Markov fixed chain. Then, the RL algorithm is used to obtain a control strategy with the aim of minimizing energy loss, which is used as a reward for the control acting on the hybrid energy storage system. To further reduce energy dissipation, the power transfer probability matrices should be updated according to the new driving cycle selected for the learning algorithm, and the Kullback–Leibler (KL) divergence rate is used to judge when updating the power distribution management strategy. The conditions of the various factors of forgetfulness and the rate of divergence for the search to achieve the desired value for the controller action are discussed. A comparison between online power management based on RL in different situations in standard driving cycles show that an online power management strategy based on reinforcement learning can effectively reduce energy loss by more than 5% and reduce energy losses in Minimize the various driving cycles in which the learning operation is performed according to the Q algorithm. Finally, the strategy is approved in various conditions such as battery life, initial charging modes and driving cycle. The results show that not only can a real-time management strategy based on augmented learning reduce the maximum discharge current and charge frequency of the battery pack, but it can also increase battery life and improve battery capacity performance by more than 20% as well as optimize System efficiency.

يادگيري تقويتي , سيستم ذخيره انرژي هيبريدي , سيستم مديريت انرژي , ابر خازن , باتري

Reinforcement learning , Power management system , hybrid energy storage system , Supercapacitor , Battery