طاها فغاني دروپي

Design an‎d Development of a Deep Reinforcement Learning-Based Control Algorithm for Recovery Stan‎d of a Quadruped Robot

مسئله بازيابي حالت ايستاده ربات هاي چهارپا پس از افتادن يك چالش اساسي در توسعه ربات هاي چهارپا و عمومي سازي آن ها در دنياي امروزي است. در اين حوزه، نبود اتكاپذيري خروجي هاي تخمين زننده موقعيت به دليل نقض فرض هاي خطي سازي در حضور نويز حسگر، پيچيدگي تصميم گيري و كنترل را افزايش مي دهد. روش هاي كلاسيك معمولاً به سطح صاف و آرايش هاي محدود از پيكره ربات مقيد هستند و در برابر تغيير شكل زمين، اغتشاش و عدم قطعيت محيطي كارايي پايدار ندارند. در اين پايان نامه براي رفع اين محدوديت ها، طراحي الگوريتم هاي كنترلي براي بازيابي حالت ايستاده مبتني بر يادگيري تقويتي عميق و همچنين طراحي تخمين زننده ارتفاع در راستاي قائم با استفاده از داده هاي فيلتر نشده سنسور شتاب سنج، با تنظيم گام به گام دشواري محيط و وظيفه، يعني يادگيري برنامه درسي پيشنهاد شده است. هسته رويكرد شامل تعريف سنجيده فضاي مشاهده با پشته سازي زماني، به كارگيري مشاهدات متمايز در شبيه ساز، نرمال سازي ورودي ها و ساخت توابع پاداش و جريمه هدفمند است تا سياست كنترلي به سمت رفتارهاي پايدار، كم مصرف و مقاوم هدايت شود. چارچوب پيشنهادي بر روي ربات چهارپاي علم و صنعت در شبيه ساز، بعنوان سيستم پيشنهادي، در سناريوهاي زمين هموار و پله ارزيابي شده است، و نشان مي دهد كه سيستم بدون اتكا به خروجي تخمين زننده وضعيت، قادر است با دقت مناسب به حالت ايستاده بازگردد. نتايج حاكي از موفقيت بازيابي بر روي سطح صاف و نيز پله با ارتفاع 10 تا 12 سانتي متر است، با حفظ پيمانه پذيري و پايداري در برابر نويز و اغتشاش و همچنين تصادفي سازي مقادير فني ربات. اين دستاورد بيانگر آن است كه تركيب يادگيري تقويتي عميق، يادگيري برنامه درسي و طراحي سنجيده مشاهدات و تابع پاداش مي تواند راه حلي عملي و قابل تعميم براي بازيابي حالت ايستاده ربات هاي چهارپا در شرايط واقعي فراهم آورد، در عين حال، پياده سازي محاسباتي ساده، كم هزينه و كارا است.

ربات چهارپا، بازيابي حالت ايستاده، يادگيري عميق تقويتي.