23736

استفاده از يادگيري تقويتي براي كنترل تطبيقي چراغ‌هاي راهنمايي با هدف كاهش انتشار آلودگي

كارشناسي ارشد

مهندسي عمران-راه و ترابري

1396

1399/8/27

دكتر برات مجردي - دكتر ندا كامبوزيا

مهندسي عمران

تراكم ترافيك در بسياري از مناطق شهري به مسئله‌اي آزار‌دهنده تبديل شده است. اين تراكم ترافيك در تقاطع‌ها در صورتي كه به درستي مديريت و كنترل نشوند مشكلات بسياري مانند آلودگي هوا به وجود مي‌آورد. سيستم كنترل تطبيقي چراغ راهنمايي كه يكي از روش‌هاي زمان‌بندي و كنترل چراغ راهنمايي مي‌باشد مي‌تواند در اين شرايط به كار رود. در اين سيستم كنترل، چراغ راهنمايي بر اساس شرايط موجود در تقاطع، زمان هر فاز را تعيين مي‌كند تا تراكم و در نتيجه آلودگي را كاهش دهد. يادگيري تقويتي كه يكي از رويكرد‌هاي هوش مصنوعي مي‌باشد در سيستم كنترل تطبيقي چراغ راهنمايي توزيع‌شده استفاده شده است. در اين پژوهش از يك شبكه Q عميق كه يك الگوريتم يادگيري تقويتي با تقريب تابع مي‌باشد استفاده شده است. تابع پاداش به صورت مجموع ميزان تغيير آلاينده‌ها تعريف شده است تا تاثير يادگيري تقويتي در ميزان آلودگي در يك شبكه ترافيكي مورد بررسي قرار گيرد. شبكه ترافيكي به صورت فرضي تعريف شده است كه از 11 تقاطع تشكيل شده است و بارگذاري در آن به صورت تصادفي مي‌باشد. عملكرد الگوريتم پيشنهاد شده با دو سيستم كنترل چراغ راهنمايي با زمان ثابت مقايسه شد. نتايج شبيه‌سازي نشان مي‌دهد كه الگوريتم پيشنهادي در مقايسه با دو سيستم زمان ثابت مجموع ميزان تغيير آلاينده‌ها، ميانگين زمان سفر و ميانگين زمان انتظار را به طور قابل توجهي كاهش مي‌دهد.

1399/12/12

Using Reinforcement Learning for adaptive traffic signal control to reduce emissions

11/18/2021 12:00:00 AM

Traffic congestion has become a nuisance problem in many urban areas. If the traffic congestion at intersections is not managed and controlled properly, it can cause many problems such as air pollution. Adaptive traffic signal control system that is one of the methods of timing and controlling traffic signals can be used in these situations. In this control system, the traffic signal determines traffic phase split of each phase based on the existing situations at the intersection to reduce the congestion and thus the emission. Reinforcement learning which is one of the approaches of Artificial Intelligence has been used in the distributed adaptive traffic signal control system. In this research, a deep Q network (DQN) that is a reinforcement learning algorithm with function approximation is used. The reward function is defined as the sum of pollutants change to investigate the effect of reinforcement learning on the emission in a traffic network. The traffic network is hypothetically defined that consists of 11 intersections and the traffic loading is random. The performance of the proposed algorithm is compared with two fixed time traffic signal control systems. The simulation results show that the proposed algorithm significantly reduces the average of sum of pollutants change, average of travel time and the average of waiting time compared to the two fixed time control systems.

كنترل تطبيقي چراغ راهنمايي , آلودگي هوا , يادگيري تقويتي , شبكه Q عميق

Adaptive traffic signal control , Emission , Reinforcement Learning , Deep Q Network