7376

دسترسي چندگانه مبتني بر يادگيري تقويتي عميق براي اتصال شبكه هاي بيسيم ناهمگن

كارشناسي

مهندسي برق-مخابرات

1400

دكتر شاهرخ فرهمند

دكتر محمد سليماني

1400/07/06

برق

Deep-Reinforcement Learning Multiple Access for Heterogeneous Wireless Networks

در حال حاضر منابع موجود در شبكه ها(چه منابع زماني و چه منابع فركانسي) با تقسيم كردن آنها به صورت سخت گيرانه و ثابت، و با اعطا مجوز مديريت ميشود.امروزه يكي از زمينه هاي رقابتي در DARPA ، رسيدن به شبكه هاي بي سيم كارآمد تر است كه در آن گره ها بتوانند به صورت دايناميك و فعالانه در هر لحظه تصميم بگيرند منابع چگونه توسط آنها بر حسب عرضه و تقاضا مديريت شود و مورد استفاده قرار بگيرد.. شبكه ايي بيسيم كه بتواند اين هدف را بدون داشتن دانش قبلي از گره هاي موجود در يك كانال به اشتراك گذاري شده، به انجام برساند با ورود عرصه يادگيري ماشين، به مقصودي ساده تر تبديل شده است و مي توان با طراحي مجدد لايه هاي PHY و MAC به اين اهداف دست يافت. هدف DLMA رسيدن به يك استراتژي بهينه دسترسي به كانال بر اساس يك سري اهداف از پيش تعيين شده است.اين اهداف شامل حداكثر نمودن throughput يا حداكثر نمودن alpha fairness در بين تمام گره هاي موجود در شبكه است. با تعريف مناسبي از فضاي حالت ، فضاي عمل ، پاداش و استفاده از الگوريتم Deep Q networks يا همان شبكه هاي عميق تقويتي نشان خواهيم داد كه DLMA به راحتي ميتواند با انتخاب اسلات هاي زماني مشخصي به هدف حداكثر نمودن throughput شبكه دست يابد.اگر چه حداكثر نمودن alpha-fairness نيازمند استفاده از الگوريتمي پيچيده تر از يادگيري تقويتي مي باشد. با معرفي يك چهارچوب چندبعدي يادگيري تقويتي خواهيم توانست به هدف حداكثر نمودن مقدار alpha-fairness يا يك مقدار مناسبي از alpha-fairness دست يافت.همچنين نشان خواهيم داد كه استفاده كردن از الگوريتم يادگيري تقويتي عميق دو مزيت اصلي نسبت به روش سنتي تر يادگيري تقويتي خواهد داشت.1) سرعت همگرايي به مقدار مورد نظر throughput 2) مقاومت بهتر نسبت به تغيير پارامترهاي شبكه يادگيري ، حتي زماني كه پارامتر هاي شبكه در حالت ايده آل از پيش تنظيم نشده باشد.