14929

كاربردهاي يادگيري تقويتي عميق در ذخيره سازي در شبكه هاي خودرويي

1403

دكتر حسين سليماني

رشد سريع وسايل نقليه هوشمند و نياز روزافزون به ارتباطات مطمئن و كم تأخير در محيط‌هاي شهري و بين‌شهري، شبكه‌هاي خودرويي يا VANET را به يكي از بسترهاي كليدي در حوزه حمل‌ونقل هوشمند تبديل كرده است. در اين شبكه‌ها، داده‌ها ميان خودروها و زيرساخت‌ها به‌صورت بلادرنگ ردوبدل مي‌شوند. يكي از مهم‌ترين چالش‌هاي موجود در اين محيط‌ها، مديريت بهينه منابع ارتباطي و محاسباتي به‌منظور تضمين كيفيت خدمات (QoS) در شرايط پوياي شبكه است. يكي از راهكارهاي مؤثر در كاهش بار ترافيكي و تأخير، استفاده از ذخيره‌سازي محتوا در گره‌هاي شبكه است. ذخيره‌سازي امكان ذخيره محلي محتواهاي پرتقاضا را فراهم مي‌كند تا در صورت نياز مجدد، بدون نياز به ارتباط با سرور مركزي، پاسخ داده شود. بااين‌حال، ويژگي‌هايي مانند تحرك بالا، توپولوژي پويا، نرخ تغيير سريع در الگوهاي تقاضا، و محدوديت منابع باعث مي‌شود طراحي سياست‌هاي ذخيره‌سازي در VANET بسيار پيچيده و غيرقطعي باشد. در سال‌هاي اخير، يادگيري تقويتي عميق به‌عنوان رويكردي نوين و توانمند براي تصميم‌گيري بهينه در محيط‌هاي پويا و پيچيده، موردتوجه قرار گرفته است. DRL با تركيب قابليت‌هاي يادگيري تقويتي كلاسيك باقدرت نمايش‌دهي شبكه‌هاي عصبي عميق، قادر است سياست‌هاي ذخيره‌سازي تطبيقي و هوشمندي را طراحي كند كه به‌صورت خودكار با شرايط متغير شبكه سازگار شوند. در اين سمينار، ابتدا مفاهيم پايه شبكه‌هاي VANET، انواع معماري‌هاي ارتباطي، چالش‌ها و مزاياي ذخيره‌سازي بررسي شده‌اند. سپس الگوريتم‌هاي مختلف DRL شامل DQN، DDQN، DDPG و mPPO معرفي شده و نحوه به‌كارگيري آن‌ها در طراحي سيستم‌هاي ذخيره‌سازي هوشمند تحليل شده است. مطالعة موردي الگوريتم‌هايي مانند MFDRL-CCS نيز نشان داده كه اين رويكردها قادر به كاهش چشمگير تأخير، افزايش نرخ موفقيت ذخيره‌سازي و بهبود بهره‌وري منابع هستند. در نهايت، مسيرهاي تحقيقاتي آينده نظير استفاده از مدل‌هاي چندعاملي ، يادگيري فدرال ، و تركيب DRL با رايانش لبه‌اي به‌عنوان گام‌هايي در جهت توسعه سيستم‌هاي توزيع‌شده و مقياس‌پذير در بستر VANET پيشنهاد مي‌شوند.[1]

5/28/2025 12:00:00 AM

87162

1404/06/12

Applications of Deep Reinforcement Learning for Caching in Vehicular Networks