27956

شناسايي و بازسازي مدل هندسي راه پله در ناوبري بصري ربات هاي سيار مبتني بر بينايي استريو فعال

كارشناسي ارشد

مهندسي مكانيك

1399

1401/12/07

محمد شهبازي

مهندسي مكانيك

سيستم هاي بينايي ربات هاي سيار نقش مهمي را در ناوبري خودران ايفا مي كنند كه از مهم ترين كاربرد هاي آن ها مي توان به امͺان فعاليت هاي بصري در محيط هاي داخلي يا خارجي، ميزان دقت در مسيريابي، ناوبري، قدرت تشخيص اجسام و موانع اشاره كرد. با تمركز بر ربات هاي پادار شاخص و پرچمدار در حوزه ي ربات هاي سيار دريافت مي شود كه استفاده از دوربين هاي عميق با قابليت پردازش داده هاي سه بعدي كاربرد بسيار متنوعي را بوجود آورده اند. از جمله محيط هاي ناهموار براي اين سيستم ها مي توان به راه پله اشاره كرد. پلكان ها برخي از رايج ترين زمين هاي ناهموار در محيط هاي شهري هستند كه شرايط را براي حركت خودران پيچيده مي كنند. تشخيص پله وظيفه مهمي براي كاربردهاي مختلف از جمله ناوبري مبتني بر بينايي ربات هاي متحرك ايفا مي كند به طوريكه امروزه تشخيص جامع راه پله در ناوبري داخلي/خارجي با موقعيت هاي مختلف نور همچنان يك مسئله مهم است. در اين راستا، اكثر مطالعات الگو و لبه پله را با استفاده از الگوريتم ها و فيلترهاي كلاسيك روي تصوير RGB يا عميق استخراج مي كنند. در اين پژوهش، يك روش جديد براي تشخيص و مكان يابي راه پله ها بر اساس يك مدل از پيش آموزش ديده با استفاده از يك دوربين RGBD پيشنهاد شده است. روش پيشنهادي شامل تركيبي از روش تشخيص سنتي و يادگيري عميق مي باشد به طوري كه روش سنتي قابليت تشخيص پله را به طور مجزا دارد و از روش يادگيري به عنوان مكملي براي افزايش دقت عملكرد استفاده شده است. اين الگوريتم كاملا́ مبتني بر فيلترهاي فضايي و ابر نقاط است كه آن را از شرايط نوري و فريم هاي ناواضح دوربين مستقل مي كند و امكان تشخيص را حتي در تاريكي مطلق فراهم مي كند. در سيستم پيشنهادي، تصوير در طيف خاكستري ايجاد شده از نقشه ارتفاع 5 .2 بعدي، شبكه تشخيص اجسام 5YOLOv را با مجموعه داده جمع آوري شده براي شناسايي و طبقه بندي پله ها تغذيه مي كند .شبكه ي يادگيري عميق استفاده شده محدوده پلكان مورد نظر (ROI) را پيش بيني كرده سپس سيگنال هيستوگرام طيف خاكستري محدوده شناسايي شده، ارتفاع هر پله را نشان مي دهد. علاوه بر اين، اين سيستم از الگوريتم هاي تشخيص كانتور براي تشخيص مكان دقيق هر پله در ابر نقاط استفاده مي كند. از اين سيستم براي تشخيص تصاوير پلكان ها با ساختار هاي مختلف در شرايط محيطي مختلف استفاده شده است و مشخص شد كه دقت متوسط 5 .98 درصد براي پله هاي بالارو و 92 درصد براي پله هاي پايين رو كه دسترسي بصري محدودي دارند را دارد.

1401/12/14

Staircase Detection and Reconstruction in Active Stereo-based Navigation of Mobile Robots

2/26/2024 12:00:00 AM

Staircases are some of the most common uneven terrains in urban environments making the situation complex for automotive locomotion. Stair detection is a significant duty for various applications, including mobile robots’ vision-based navigation and visually impaired people’s mobility. Despite efficacious algorithms having been developed in recent decades, comprehensive staircase detection in indoor/outdoor navigation with various light situations remains a demanding issue. In this regard, most studies extract the stair’s pattern and edge using classical algorithms and filters on the RGB image or the depth frame. In this paper, we propose a novel method to detect the localization and recognition of staircases based on a pre-trained model and an RGBD camera. The proposed method works entirely based on spatial filters and the point cloud, which makes it independent of the lighting conditions and unclear camera frames. So it provides detection in utter darkness. In the proposed system, the gray-scale image generated from the 2.5D elevation map feeds a YOLOv5 object detection with the newly collected dataset to recognize and classify stairs. Peaks of the grayscale histogram signal of the detected domain show the elevation value of each stair. Furthermore, based on obtained data, the system uses counter-detection algorithms to detect the exact location of each stair on the point cloud. The system was applied to detect different staircase images under various conditions, dark and noise, and was found to achieve an average accuracy of 98.5% for upstairs and 92% for downstairs which has limited visual accessibility. Results demonstrate the potential and efficiency of the proposed algorithm

بينايي ماشين , بينايي ربات , حسگرهاي بينايي , تشخيص پله , يادگيري عميق

Siavash Mahmoudi

Mohammad Shahbazi