22784

كنترل تطبيقي گروه چراغ‌هاي راهنمايي با يادگيري تقويتي

كارشناسي ارشد

راه و ترابري

1398

1399/07/07

دكتر حسن زياري - دكتر ندا كامبوزيا

عمران

تقاطع‌ها بخش مهمي شبكه معابر شهري را تشكيل مي‌دهند. بر اساس آمارنامه شهرداري تهران، قريب به 24 درصد از زمان سفر استفاده‌كنندگان از معابر شهري، در تقاطع‌ها مي‌گذرد از همين رو، بهينه‌سازي اين تقاطع‌ها با هدف كاهش زمان‌سفر مي‌تواند در بهبود تجربه سفرهاي روزانه شهروندان كمك نمايد. در اين پژوهش با بهره‌گيري از يادگيري تقويتي، سعي در تحقق اين هدف شده است. انطباق با شرايط موجود مهم‌ترين خاصيت استفاده از اين الگوريتم‌هاست. بر همين اساس در اين پژوهش در دو گام مدل و الگوريتم بهينه‌سازي چراغ‌هاي راهنمايي توسعه داده شده است. در گام نخست محيط يادگيري شامل قسمتي از شهر تهران به مساحت 20 كيلومترمربع در طول هفت روز متوالي شبيه‌سازي شده است. تقاضاي سفر و بارگذاري بر روي شبكه با تحليل داده‌هاي به دست آمده از حسگرهاي القايي و با كمك يادگيري ماشين به نواحي تحليل ترافيكي در داخل شبكه اختصاص داده شده و زمينه تخصيص ديناميكي بر اساس ماتريس مبدأ - مقصد فراهم شده است. در گام بعدي نيز يك الگوريتم مبتني بر يادگيري تقويتي تشكيل و با نرم‌افزار سومو مرتبط شد. در مقايسه شبكه مبنا، استفاده از الگوريتم پيشنهادي اين پژوهش مي‌تواند تا 62 درصد زمان سفر را كاهش داده و تا سه درصد ميزان ظرفيت شبكه را بهبود دهد. همچنين نشان داده شد كه الگوريتم استفاده شده در اين پژوهش در طول زمان موجب افزايش ظرفيت شبكه و بهبود عملكرد تقاطع‌ها از منظر كاهش طول صف شده است.

1399/08/25

Network-wide Adaptive Traffic Signal Control Using Reinforcement Learning

9/29/2021 12:00:00 AM

Intersections are an essential part of the urban streets network. According to research conducted by the Tehran Municipality, 24% of the users’ travel is spent waiting at intersections. Therefore, optimizing intersections can lead to reducing travel time and thus help improve citizens’ daily commute. In this research, by using reinforcement learning, an attempt has been made to achieve this goal. Adaptation to the existing conditions is the essential feature of using these algorithms. Accordingly, in this research, a learning environment and a traffic light controller algorithm have been developed. In the first step, the learning environment, including a part of Tehran with 20 square kilometers area, was built that could simulate seven consecutive days with the demand, which was obtained by analyzing the data collected from the induction loop detectors. In the next step, an algorithm based on reinforcement learning was developed and linked to SUMo. Compared to the base network, the proposed algorithm reduced travel time by 62% and improve intersection throughput by 3%. It was also shown that the algorithm used in this study has successfully increased network throughput over time and improved the performance of intersections in terms of reducing queue length.

مهندسي ترافيك