25815

طراحي كنترل‌كننده بهينه تطبيقي مبتني بر يادگيري تقويتي براي كنترل ازدحام داده در شبكه‌هاي TCP/AQM

كارشناسي ارشد

مهندسي برق - كنترل

1400

1400/08/29

دكتر حسين بلندي

مهندسي برق

امروزه به دليل رشد چشم‌گير استفاده از شبكه‌هاي كامپيوتري و اهميت آن در جامعه امروز، كنترل ازدحام داده به‌عنوان يك مسئله‌ي مهم در ارتباطات كامپيوتري مطرح شده است. در اين ميان الگوريتم‌هاي مديريت فعال صف، نقش مهمي را در كنترل و مديريت ازدحام در مسيرياب‌هاي شبكه‌هاي كامپيوتري، با دور ريختن يا نشانه‌گذاري بسته‌هاي داده، ايفا مي‌كنند. در اين پايان‌نامه، از يك ساختار تطبيقي بهينه خطي مبتني بر يادگيري تقويتي براي حل مسئله مديريت فعال صف داده استفاده شده است. در اين روش بدون نياز به مدل رياضي سيستم و صرفاً با داده‌هاي اندازه‌گيري شده از سيستم، ابتدا پارامترهاي تابع عمل-ارزش به كمك الگوريتم حداقل مربعات تعميم‌يافته در هرلحظه از زمان تخمين زده مي‌شود. سپس با به‌كارگيري الگوريتم تكرار سياست و روش برون‌سياست يادگيري Q، سياست كنترلي جديد در هر گام محاسبه مي‌شود. اين روند تا زمان همگرايي و رسيدن به سياست بهينه ادامه خواهد يافت. شبيه‌سازي‌ اين الگوريتم، به كمك نرم‌افزار MATLAB در دو حالت ثابت‌ و متغير بودن پارامترهاي شبكه‌ي TCP/AQM انجام شده است. نتايج عددي حاصل از شبيه‌سازي، نشان‌دهنده‌ي كارايي و عملكرد مناسب‌‌ الگوريتم اشاره‌شده در تنظيم طول صف و دورريز بسته‌ها مي‌باشد.

1400/10/13

Adaptive optimal congestion control based on Reinforcement learning for TCP/AQM Networks

11/20/2022 12:00:00 AM

Today, due to the significant growth of the use of computer networks and their importance in today's society, congestion control has been introduced as an important issue in computer communications. Active queue management algorithms play an important role in controlling and managing congestion in computer network routers by dropping or marking data packets. In this thesis, a linear optimal adaptive structure based on reinforcement learning is used to solve the active queue management problem. In this method at first, without using mathematical model of system and only by measured data from the system, the parameters of the action-value function are estimated by the Extended Least Squares algorithm then new policy is calculated in every step by using the policy Iteration algorithm and off-policy Q learning approach. This process will be continued until convergence and then optimal policy is optained. Simulation of the mentioned algorithm is performed in both unknown and time-varying TCP/AQM network parameters by MATLAB. The numerical results of the simulation show the efficiency and performance of the mentioned algorithm in adjusting the queue length with the appropriate amount of data packets drop.

مديريت فعال صف , يادگيري تقويتي