23991

بهبود تخمين مكان و زاويه ديد دوربين متحرك در فضاي بسته

دكتري

مهندسي كامپيوتر - هوش مصنوعي و رباتيك

1399-1400

1400/1/30

دكتر محسن سرياني

دكتر بهروز نصيحت كن

مهندسي كامئيوتر

تخمين مكان و زاويه ديد دوربين در دنباله تصاوير يكي از مسائل پر چالش در حوزه بينايي ماشين به خصوص بينايي ماشين سه‌بعدي است كه براي كاربردهاي متعددي از جمله ناوبري ربات و واقعيت افزوده استفاده مي‌شود. براي اين منظور ابتدا به كمك تناظر نقاط كليدي در چند تصوير، تخميني از مدل سه‌بعدي صحنه محاسبه مي‌شود، سپس به كمك تناظر ميان نقاط دوبعدي در تصوير و نقاط سه‌بعدي صحنه، مكان و زاويه ديد دوربين محاسبه مي‌گردد. در اين رساله تلاش شده است رويكردي جديد در زمينه تخمين مكان و زاويه ديد دوربين در دنباله تصاوير دوربين‌هاي تك ديد ارائه شود. اساس رويكرد پيشنهادي بر مبناي استفاده از سابقه حركت دوربين براي تخمين وضعيت آن است. در اين روش حركت دوربين بوسيله يك فيلتر كالمن توسعه يافته مدل شده و در هر گام تخميني از وضعيت جديد آن محاسبه مي‌شود (مرحله پيش‌بيني). سپس بر اساس مشاهدات، مقدار دقيق‌تري از اين تخمين محاسبه مي‌گردد (مرحله تصحيح). استفاده از فيلتر كالمن اين امكان را فراهم مي‌كند كه به كمك يك چارچوب احتمالاتي، عدم قطعيت در ورودي الگوريتم (نقاط سه‌بعدي) و مشاهدات (نقاط دوبعدي)، در محاسبات لحاظ شود. اين موضوع باعث افزايش مقاومت روش پيشنهادي خواهد شد تا جايي كه در يك دنباله طولاني بدون اتكا به روش‌هاي تنظيم دسته‌اي، با دقت قابل قبولي قادر به تخمين ضرايب خارجي دوربين خواهد بود. آزمايشات انجام گرفته با استفاده از دادگان مصنوعي و دادگان حقيقي نشان مي‌دهد روش پيشنهادي از جنبه دقت و مقاومت در برابر خطا، نسبت به آخرين روش‌هاي موجود در اين زمينه برتري دارد و اين در حالي است كه سرعت اجراي آن نيز از مرتبه زماني O(n) بوده و همتراز و گاها پايين‌تر از ساير روش‌ها است.

1400/04/13

Improving Camera 3D Pose Estimation for Indoor Environments

1/1/1900 12:00:00 AM

Camera trajectory estimation using image sequence is a very challenging task in computer vision, especially 3D computer vision, which is used for many applications such as robot navigation and augmented reality. In this thesis, we proposed a new method to estimate camera pose through a sequence of images using 2D image key-points and its correspondence in 3D space. In the proposed approach, camera motion is modeled with an extended Kalman filter (EKF) which estimates the camera pose in each time step (Prediction step). Then, based on 3D-2D correspondence points as observations, it is corrected to more accurate estimation by minimizing the reprojection error of the reference points (Correction step). The use of the Kalman filter makes it possible to take into account the uncertainty of inputs (3D points) and observations (2D points) in the pose estimation process. This will increase the robustness of the proposed method when employed in a long sequence without relying on bundle adjustment. It also provides the covariance of the pose parameters which helps to measure the reliability of the estimated parameters. Experimental results, using both synthetic and real data, demonstrate that the proposed method improves the accuracy and the robustness of the camera pose estimation, in the presence of tracking errors and feature matching outliers, compared to the state-of-the-art, while keeping execution time in O(n) which is the same or even better than those of other methods.

تخمين وضعيت دوربين , بينايي ماشين سه‌بعدي , استخراج ساختار از حركت , فيلتر كالمن , هندسه اپيپلار