27363

تلفيق سامانه ناوبري اينرسي و تصوير مبتني بر هوش مصنوعي

كارشناسي ارشد

مهندسي برق - الكترونيك مدار هاي مجتمع الكترونيك

1398

1401/02/25

سيد محمد رضا موسوي ميركلائي

مهندسي برق

سامانه مكا¬يابي اينرسي از جمله امن¬ترين سامانه¬هاي مكان¬يابي است. اين سامانه بدون هيچ¬گونه ارتباط مخابراتي و تنها با اندازه¬گيري شتاب و سرعت زاويه¬اي جسم، موقعيت را در هر لحظه تعيين مي¬كند. عيب اين سامانه افزايش خطاي تصاعدي آن با گذشت زمان با توجه به باياس و رانش شتاب¬سنج و ژيروسكوپ است. اين خطا در زمان¬هاي طولاني موجب انحراف قابل توجه جسم متحرك مي¬گردد. براي برطرف كردن اين مشكل و تصحيح اطلاعات سامانه اينرسي از سامانه¬هاي كمكي استفاده مي¬شود. سامانه مكان¬يابي تصويري گزينه ديگر براي تصحيح اطلاعات سامانه اينرسي است. اين سامانه¬ها ارزان قيمت، داراي اندازه كوچك و كاربردي مي¬باشند. درنتيجه به منظور افزايش دقت و قابليت اطمينان سامانه در عين پايين نگه¬داشتن قيمت سخت¬افزار لازم، استفاده از هر دو نوع سامانه توصيه مي¬شود. اين سامانه به كمك تصاوير گرفته¬شده از دوربين متصل به وسيله، مكان¬يابي را انجام مي¬دهد. به صورت كلي دو رويكرد براي تلفيق اطلاعات مورد بررسي قرار مي¬گيرد. در رويكرد اول اطلاعات توسط فيلتر كالمن توسعه¬يافته، تلفيق مي¬شوند. روند اجراي فيلتر تلفيقي بدين ترتيب است كه در طول حركت، مكان¬يابي وسيله مبتني¬ بر اينرسي انجام مي¬شود و با توجه به فركانس داده¬برداري تعريف شده براي دوربين، تصويري از محيط در ميدان ديد خود ثبت مي¬كند. اين تصوير و تصوير گام قبلي تصويربرداري، به الگوريتم سيفت يا سرف اعمال مي¬شود. الگوريتم، نقاط مشترك دو تصوير را گزارش مي¬دهد (نقاط حاصل توسط الگوريتم رنسك غربال مي¬شوند). اين نقاط در رابطه اندازه¬گيري فيلتر كالمن توسعه¬يافته قرار مي¬گيرند و طبق روابط فيلتر، اطلاعات IMU و تصوير با هم تلفيق-شده و متغيرهاي حالت تصحيح مي¬شوند. در رويكرد دوم، تلفيق اطلاعات دوربين و حسگر اينرسي توسط شبكه¬هاي عصبي عميق انجام مي¬شود. بدين صورت كه تصوير به ورودي شبكه عصبي كانولوشنال داده مي-شود تا ويژگي¬هاي تصوير را استخراج كند، سپس، با استفاده از شبكه حافظه طولاني كوتاه مدت، ارتباط زماني بين قاب¬هاي تصاوير استخراج مي¬شود. روش¬هاي ادومتري بصري اينرسي مختلفي ارائه شده است. روش¬هاي سنتي براي محيط¬هاي پويا و در حال تغيير روشنايي، مقاوم نيست و براي تنظيم دقيق دستي، به زمان زيادي نياز دارند. در روش¬هاي يادگيري، با استفاده از شبكه¬هاي عصبي عميق، مسئله را مورد بررسي قرار مي¬دهند. روش¬هاي يادگيري به پايگاه داده با داده¬هاي زياد نياز دارند، به طوري كه داده¬هاي آموزش و آزمايش شبكه مشابه باشند. بدين منظور، پايگاه داده در محيط گزبو طراحي و فراهم شد. با توجه به اينكه شبكه فلونت عملكرد ضعيفي در تخمين موقعيت دارد، شبكه جديدي مبتني بر VGG16 ارائه شد. شبكه پيشنهادي از جهت سادگي، تعداد پارامتر يادگيري و غير قابل يادگيري و همچنين نياز به تعداد داده¬هاي آموزشي، قابل مقايسه با روش¬هاي مطرح مي¬باشد. روش پيشنهادي با روش مطرح، مقايسه شده و ميانگين مربعات خطا از مقدار 4.99 به 0.63 بهبود يافت.

1401/08/26

Vision and INS Sensor Fusion Based on Artificial Intelligence

5/15/2023 12:00:00 AM

Inertial Navigation System (INS) is one of the safest navigation systems. This system determines the position at any moment without any telecommunication connection and only by measuring the acceleration and angular velocity of the object. The disadvantage of this system is its increasing exponential error over time due to the bias and drift of the accelerometer and gyroscope. This error causes significant deviation of the moving object over long periods of time. Auxiliary systems are used to solve this problem and correct the information of the INS. vision navigation system is another option for correcting INS information. These systems are inexpensive, small in size and practical. As a result, in order to increase the accuracy and reliability of the system while keeping the price of the necessary hardware low, the use of both types of systems is recommended. This system uses the images taken from the camera connected to the device to locate. In general, two approaches to integrating information are considered. In the first approach, the information is integrated by the Kalman filter. The process of applying the integrated filter is such that during the movement, the position of the device is based on inertial data, according to the data collection frequency defined for the camera, it captures an image of the environment in its field of view. This image and the image of the previous shooting step are applied to the SIFT or SURF algorithm. The algorithm reports the common points of the two images (the resulting points are screened by the Ransac algorithm). These points are placed in the Kalman filter measurement equation, and according to the filter relationships, the IMU and image information are fused and the state variables are corrected. In the second approach, the camera and inertial sensor information are fused by deep neural networks, in which the image is fed to the input of the convolutional neural network (CNN) to extract the features of the image. Then, communicated using a Long short-term memory (LSTM) network. Time is extracted between picture frames. Various visual inertial methods have been proposed. Traditional methods are not resistant to dynamic and changing lighting environments and take a long time to adjust manually. In learning methods, using deep neural networks, the problem is examined. Learning methods require a dataset with a lot of data, so that the training and testing data of the network are similar. For this purpose, a dataset was designed and provided in Gazebo environment. Due to the poor performance of the FlowNet network in pos estimation, a propose network based on VGG16 was introduced. The proposed network is comparable to the state-of-the-art methods in terms of simplicity, number of learning and non-learning parameters, as well as the need for the number of training data. The proposed method was compared with the state-of-the-art method and the mean squared error was improved from 4.99 to 0.63.

Seyyed Arash Rezaeinezhad

Seyyed MohammadReza Mosavi