18951

۱۸۹۵۱

رديابي مقاوم موضوع در تصاوير ويدئويي به منظور غلبه بر انسداد

كارشناسي ارشد

الكترونيك ديجيتال

۱۳۹۴

۱۳۹۷/۱/۱۹

دكتر شهريار برادران شكوهي

برق

رديابي اشياء متحرك يكي از مسائل مطرح در حوزه بينايي ماشين است كه به دليل كاربردها و چالش‌هاي فراوان، هنوز هم با گذشت بيش از سه دهه، توجه محققان را به خود جلب نموده است. يكي از چالش‌هاي اصلي رديابي يك هدف مشخص در تصاوير ويدئويي مسئله انسداد آن با اشياء ديگر يا پس‌زمينه است. هنگامي‌كه اين هدف در انسداد با شئ ديگري قرار مي‌گيرد بخشي از آن در چندين فريم متوالي توسط شئ ديگر پوشانده مي‌شود، بنابراين در اين حالت، مدل ظاهري قبلي، نمايش مناسبي از هدفي را كه در شرايط انسداد قرارگرفته ارائه نمي‌دهد. هدف اصلي اين پژوهش تسهيل رديابي با وجود چالش‌ انسداد هست. شايان ذكر است كه يك ردياب بصري مقاوم بايد در كنار چالش انسداد چالش‌هاي ديگر را نيز مدنظر قرار دهد زيرا اين چالش ها با يكديگر همبستگي بالايي دارند و نمي توان صرفاً به يك چالش به تنهايي پرداخته شود. لذا در اين اثر چالش هاي ديگر نيز مدنظر قرار گرفته اند. در اين پايان نامه دو روش رديابي بصري در دو حوزه ي نمايش تنك و يادگيري عميق ارائه ‌شده است. در روش اول با استفاده از نمايش تنك مشترك ارتباط اهداف در فريم‌هاي مجاور در نظر گرفته‌شده است. ابتدا دو مجموعه از وصله‌هايي كه با هم هم پوشاني دارند از هدف موردنظر استخراج ‌شده است و سپس با استفاده از اين دو مجموعه، دو واژه‌نامه‌ي متناظر ساخته شده است. در ادامه با اعمال نمايش تنك مشترك در كدگذاري كانديد هاي موجود مدل ظاهري تنك كانديداها بدست آمده است. در نهايت نيز با استفاده از اين مدل ظاهري، احتمال نهايي هر كانديدا بدست آمده و هدف مورد رديابي قرار مي گيرد. در حوزه ي يادگيري عميق نيز روشي ارائه شده است كه رديابي بصري را به دو قسمت مكان‌‌يابي هدف و طبقه‌‌بندي آن تقسيم‌‌بندي كرده است. شبكه‌‌ي مكان‌‌يابي اطلاعاتي از فريم اخير استخراج كرده و مكان‌‌هاي مشخص كه بيشترين احتمال حضور هدف در آنجا قرار دارد را تعيين كرده است. در كنار شبكه‌‌ي مكان‌‌ياب، يك شبكه‌‌ي ديگري نيز تعبيه شده است (شبكه‌‌ي طبقه‌‌بندي) كه از بين كانديدا‌‌هايي كه شبكه‌‌ي مكان‌‌ياب تعيين كرده كانديداي موردنظري را كه هدف در آن است را مشخص مي‌‌كند. براي ارزيابي عملكرد دو روش پيشنهادي از مجموعه ديتاي OTB استفاده شده است. دو ردياب پيشنهادي هر يك با ردياب هاي حوزه ي خود مورد ارزيابي قرار گرفته اند. آزمايش هاي مختلفي كه روي مجموعه ديتاي OTB انجام شده نشان داده است كه دو ردياب ارائه شده با توجه به معيار ارزيابي DP و OS نسبت به ردياب هاي موجود در حوزه ي خود داراي ارتقاي عملكرد كلي 4 و 1.3 درصد (رديابي اول) و 0.1 و 0.4 درصد (رديابي دوم) هستند. واژه‌هاي كليدي: بينايي ماشين، رديابي، ويدئو، انسداد، نمايش تنك، يادگيري عميق

1397/03/22

Robust video-based object tracking with occlusion handling

6/12/2018 12:00:00 AM

Visual object tracking is one of the interesting and important areas in machine vision that can be applied to motion analysis, augmented reality, vehicle navigation, and robotics. Although several tracking approaches have been proposed over last decade with successful results, but object tracking is still an open research area. In this thesis, two methods have been proposed to solve the problem of occlusion in the tracking process. In the first method, a robust visual tracking method is introduced which exploits the relationships of targets in adjacent frames using patchwise joint sparse representation. Two sets of overlapping patches with different sizes are extracted from target candidates to construct two dictionaries by considering joint sparse representation. The structural sparse appearance model with this representation provides two-fold advantages; considering the correlation of target patches over time, and generating local features of target thoroughly. Furthermore, the position of candidate patches and their occlusion levels are utilized simultaneously to obtain the final likelihood of target candidates. In the second proposed method based on deep learning, the tracking problem decomposed into the localization and classification tasks. The localization network employs the information in the current frame and provides an additional location to enhance object tracking. The Siamese network has been employed to find the target among many candidates obtained close to the target location in the previous frame, as well as the one estimated from the localization network in the current frame. The achieved results from both proposed methods on recent challenging benchmarks prove that this proposed tracking approach outperforms well among the state-of-the-art trackers. In the OS and DP metrics of OPE criterion, the sparse tracker achieves 1.3% and 3.3% improvement over other trackers, respectively. Also, the second proposed tracker achieves 0.4% and 0.1% improvement over other trackers based on OS and DP metrics of OPE criterion, respectively. Keywords: visual object tracking, occlusion, sparse representation, deep learning