22537

شناسايي موانع و مسير حركت خودرو خودران به كمك فناوري بينايي ماشين

كارشناسي ارشد

طراحي سيستم هاي ديناميكي خودرو

1397

1399/7/5

دكتر مسعود مسيح طهراني - دكتر عبدالله اميرخاني

خودرو

با حذف راننده، خودروهاي خودران نيازمند تعداد زيادي حسگر جهت در اختيار داشتن ادراك صحيحي از محيط پيرامون خود هستند. بينايي ماشين با رويكرد يادگيري عميق يكي از رايج‌ترين روش‌ها جهت شناسايي مسير و موانع پيرامون خودرو است. اما عملكرد اين حسگر هنگامي كه اختلاف دامنه زيادي ميان تصاوير پايگاه داده آموزش و تست باشد با افت بزرگي مواجه خواهد شد. در اين تحقيق، با در نظر داشتن اين چالش و با تكيه بر بينايي ماشين و يادگيري عميق، اقدام به شناسايي موانع و مسير حركت خودرو مي‌گردد. در ابتدا عموميت مدل‌هاي يادگيري عميق در حيطه تشخيص‌دهنده‌هاي اشياء با آموزش شبكه‌هاي Faster-RCNN و SSD مورد هدف قرار داده مي‌شود. با تعريف سناريوهاي آموزشي مختلف و استفاده از معيار ميانگين دقت (mAP) عملكرد شبكه‌هاي مذكور به ترتيب 72/12% و 52/14% نسبت به كارهاي ديگران بهبود داده شده است. همچنين در مرحله بعد با اعمال اغتشاشات گوناگون به پايگاه داده تست عملكرد مدل در ارزيابي مقاوم بودن آن به چالش كشيده شده است و تلاش شده است با استفاده از استراتژي‌هاي مختلف آموزشي، عملكرد مدل در تشخيص اين پايگاه داده مغشوش بهبود پيدا كند. نتايج نشان مي‌دهند كه استراتژي‌هاي اعمالي توانسته‌اند بهبودهايي معادل با 85/6%، 07/7%، 96/6% و 10% را در معيارهاي s1، s4، mPC و rPC براي شبكه Faster-RCNN با استخوان‌بندي Resnet101 ايجاد نمايند. شبيه‌سازي‌ و آزمايش‌هاي انجام شده در ارزيابي با دامنه متفاوت نيز نشان مي‌دهند كه استراتژي‌هاي مورد استفاده موجب بهبود 56/14% و 5/5% به ترتيب براي پايگاه داده واقعي و شبيه‌سازي شده‌اند. پياده ساختن قطعه‌بندي معنايي جهت شناسايي همزمان مسير و موانع در مقياس پيكسلي از ديگر اهداف اين پايان‌نامه بوده است كه در اين زمينه از شبكه‌هاي سريع و به روز نظير DABNet، ContextNet و FastSCNN استفاده گشته است. همچنين در راستاي پاسخگويي به چالش زمان‌بر بودن برچسب‌گذاري دستي، از رويكرد معلم-دانش‌آموز به منظور انجام برچسب‌گذاري خودكار استفاده گشته است. با توجه به نتايج به دست آمده در ارزيابي مدل‌ها، شبكه دانش‌آموز تنها 2/1% اختلاف عملكرد با شبكه‌اي دارد كه برچسب‌گذاري آن پس از صرف زمان بسيار توسط انسان انجام شده است. همچنين نشان داده شده است كه آشنا ساختن مدل با دامنه تصاوير بياباني و فاقد ساختار منجر به بهبود 1/5% شبكه معلم و همچنين 9/1% در شبكه دانش‌آموز گشته است. در پايان نيز با ادغام روش برچسب‌گذاري خودكار (توسط شبكه معلم) و برچسب‌گذاري دستي، شبكه خروجي بهبودي معادل با 3/1% از دقت شبكه متناظري داشته است كه تنها توسط انسان آموزش ديده است.

1399/07/22

Visual-based obstacle detection for autonomous vehicles

9/26/2020 12:00:00 AM

By removing the driver, autonomous vehicles need many sensors in order to achieve a correct perception from the environment. Machine vision based on deep learning is one of the most common ways to detect vehicle’s trajectory and obstacles. However, when faced with lots of domain shift between train and test datasets, this sensor’s performance decrease drammatically. Having this challenge in mind and by reling on the machine vision and deep learning, vehicle’s trajectory and obstacles in this work is detected. At first, aim is on the generalization of the deep learning models in the field of object detection by training the Faster-RCNN and SSD. There are 12.72% and 14.52% improvements in these models performance by defining new train scenarios in the mean average precision (mAP) metric compared to other works. Also in the next step, model’s robustness is subject to a huge challenge by applying different noises on the test database. Results show that our strategies imporved Faster-RCNN Resnet101’s accuracy by 6.85%, 7.07%, 6.96% and 10% in s1, s4, mPC and rPC metric respectivelly. Simulation and experiments in cross-domain evaluation show that our strategies caused 14.56% and 5.5% improvements in mentioned model’s performance in real and simulated images respectivelly. Applying semantic segmentation for detecting vehicle’s trajectory and obstacles simultaneously in pixel level is another goal of this thesis and in this field we take advantage of fast and state-of-the-art networks like DABNet, ContextNet and FastSCNN. Also in order to answer time consuming challenge to prepare manual annotation, this thesis uses auto-generated annotation with teacher-student approach. With respect to the extracted results in model’s evaluation, there is only 1.2% performance difference compared to the same model which is trained after spending very long time only to prepare manual annotation by humans. Also, it is proved that introducing unstructured environments to model end up with 5.1% and 1.9% improvements in teacher and students accuracy respectivelly. Finally, there is 1.3% improvement in FastSCNN model which uses the combination of manual and auto-generated annotations compared to the same model which only trained by humans.