30778

مديريت و كنترل ترافيك يك شبكه ريلي به كمك يادگيري تقويتي الگوريتم Q

كارشناسي ارشد

مهندسي راه اهن

1399

1402/7/30

دكتر بهمن قرباني واقعي

راه اهن

سيستم‌هاي ريلي و به‌طور خاص سيستم مترو با توجه به تعداد قطارها و سفرهاي بيشتر و پيچيدگي و عدم قطعيت‌هاي زياد در ساختار و عملكرد خود، نيازمند برنامه‌ريزي دقيق پيش از عمليات و در حين آن مي‌باشند كه به اين برنامه‌ريزي‌ها مديريت ترافيك گفته مي‌شود. عليرغم برنامه‌ريزي دقيق تصميم‌گيرندگان، همچنان امكان وقوع يك رويداد پيش‌بيني‌نشده در اين سيستم‌ها وجود دارد كه مي‌تواند موجب اختلال در برنامه و عمليات واقعي شود، لذا مطالعه‌ي روشي بهينه براي تصميم‌گيري آني در زمان وقوع چنين اختلالاتي و دستيابي به يك برنامه‌ريزي مجدد براي ادامه حركت در اين سيستم‌ها از اهميت بالايي برخوردار است. در اين پايان‌نامه يك مدل از سيستم متروي شهري را به كمك الزامات ايمني و محدوديت هاي حاكم بر آن با رويكرد ماكروسكوپي و همچنين يك مدل براي اختلال و تاخير در آن، مدل‌سازي شد. به‌منظور شبيه‌سازي مدل، مطالعه ي موردي در اين پايان نامه، خط 7 متروي تهران در نظر گرفته شده‌است. در ابتدا با توجه به الزامات و محدوديت‌هاي خط 7 (ويژگي‌هاي زيرساخت،قطار و ايمني) ، يك مدل براي جدول زمان‌بندي آن ايجاد شد كه توانايي نمايش مكان قطار در هرلحظه و همچنين زمان ورود و خروج و توقف و راندن قطارها را دارد. در صورت وقوع تأخير در جدول زماني، نياز به سيستمي است كه با ورود شماره قطار، شماره ايستگاه و مقدار تأخير، جدول زماني را به‌گونه‌اي اصلاح نمايد كه از برخورد قطارها به يكديگر جلوگيري شود و همچنين از انتشار اختلال جلوگيري نمايد. به اين منظور الگوريتمي سريع و با تصميم گيري هاي آني و دقيق مانند الگوريتم Q استفاده شد كه اين الگوريتم روي قطاري كه دچار تأخير شد، شروع به انتخاب بهترين زمان ماندن و زمان راندن كرده و با آزمون‌وخطا بهترين ميزان زمان ماندن و راندن را استخراج كرده و اين اقدامات را براي قطارهاي پشت‌سري تكرار كرده تا از انتشار تأخير جلوگيري و جدول زمان‌بندي اوليه مطلوب را برآورده نمايد. در پايان، مدل خط و الگوريتم Q طراحي شده با ملاحظات خط 7 متروي تهران شبيه سازي شده و عملكرد صحيح الگوريتم جبران تاخيرها و بازگشت به جدول زماني اصلي نشان داده شده است.

1403/02/03

Control and Management of a Railway Traffic Network Using Reinforcement Learning Q-Learning

10/21/2024 12:00:00 AM

Rail systems and especially the subway system, due to the number of trains and more trips and the complexity and uncertainties in their structure and operation, require detailed pre-operation planning, which is called traffic management. Despite the careful planning of the decision makers, there is still the possibility of an unforeseen event occurring in these systems that can disrupt the plan and actual operations, so studying an optimal method for instant decision-making when such disturbances occur and achieving a re-planning to continue moving in this Systems are very important. In this thesis, a model of the urban subway system was modeled with the help of the safety requirements and the restrictions governing it with a macroscopic approach, as well as a model for its disruption and delay. In order to simulate the model, a case study is considered in this thesis, Line 7 of Tehran Metro. At first, according to the requirements and limitations of line 7 (infrastructure, train and safety features), a model was created for its timetable, which has the ability to show the location of the train at any moment, as well as the time of arrival and departure, stopping and driving of trains. If there is a delay in the timetable, a system is needed to modify the timetable by entering the train number, station number and the amount of the delay in such a way as to prevent trains from colliding with each other and also to prevent the spread of disturbances. For this purpose, a fast algorithm with accurate decisions was used, such as the Q algorithm, which started to choose the best time to stay and drive on a train that was delayed, and extracted the best amount of time to stay and drive by trial and error. Repeat the actions for the back trains to prevent delay propagation and return to the original timetable. In the end, the simulated model of the revised schedule is plotted with the original schedule in a plot for better understanding and comparison.

مديريت ترافيك , خط 7 متروي تهران , يادگيري تقويتي , يادگيري Q

traffic management , Line 7 of Tehran Metro , Reinforcement learning , Q-Learning

Mahsa Radkani

Bahman Ghorbani Vaghei