22576

رديابي انسان در تصاوير ويدئويي با استفاده از يادگيري عميق

كارشناسي ارشد

الكترونيك ديجيتال

1396-1399

1399/6/26

دكتر شهريار برادران شكوهي

برق

رديابي بصري انسان يك كار تحقيقاتي اساسي در بينايي ماشين بوده و طي دهه‌هاي اخير توجه زيادي را به خود جلب كرده است. با وجود پيشرفت‌هاي چشمگير، رديابي با استفاده از دوربين طيف مرئي، در برخي از شرايط پيچيده مانند روشنايي كم در شب، درهم‌ريختگي پس‌زمينه و هم‌چنين شرايط آب و هوايي بد ( باران ، مه ، دود و غيره )، كار بسيار چالش برانگيز است. با توجه به اينكه دوربين‌هاي حرارتي مي‌توانند اشعه مادون قرمز ساطع شده توسط افراد با دماي بالاتر از صفر مطلق را ضبط كنند، استفاده از داده‌هاي حرارتي در كنار داده‌هاي مرئي مي‌تواند اطلاعات بيشتري از صحنه را در اختيار ردياب قرار داده و موجب بهبود عملكرد آن شود. اين دوربين‌ها نسبت به دوربين‌هاي طيف مرئي داراي مزيت توانايي تصويربرداري در تاريكي و مقاومت نسبت به تغييرات روشنايي و سايه روشن‌ها هستند. با اين حساب با به كارگيري داده‌هاي RGB-TIR مي‌توان در روز و شرايط مساعد آب و هوايي از اطلاعاتي كه تصاوير مرئي در اختيار گذاشته‌اند، بهره برد و در تاريكي و شرايط بد روشنايي و جوي از اطلاعات تصاوير حرارتي استفاده كرد. ردياب‌هاي حوزه‌ي يادگيري عميق با استفاده از ويژگي‌هاي سطح بالا از دقت بالايي برخوردارند ولي به دليل حجم محاسباتي زياد عموما از سرعت پايين رنج مي‌برند. ردياب پيشنهادي در اين پژوهش با هدف بالا بردن سرعت ردياب مبتني بر يادگيري عميق با استفاده از داده‌هاي RGB-TIR ارائه شده است. اين ردياب از دو آداپتور عمومي و مخصوص براي بهره‌گيري از تصاوير مرئي و حرارتي به طور هم‌زمان استفاده شده است. آداپتور عمومي هر دو تصوير را گرفته و خصوصيات و ويژ‌گي‌هاي مشترك بين اين دو تصوير را استخراج مي‌نمايد. آداپتور خصوصي از دو شاخه تشكيل شده است كه هر يك متعلق به يكي از تصاوير است و ويژگي‌هاي خاص هر يك از آن‌ها را فرا مي‌گيرد. در نهايت اين ويژگي‌ها با هم تركيب شده و با استفاده از لايه‌ي RoIAlign، ويژگي‌هاي هر كي از ناحيه‌هاي محتمل حاوي هدف استخراج مي‌شود. آداپتور نمونه با هدف مدل‌سازي تغييرات ظاهري هدف و استنتاج، اين ويژگي‌ها را گرفته و مكان هدف را مشخص مي‌نمايد. آزمايش‌هاي مختلفي كه روي مجموعه داده‌ي RGBT234 انجام شده، نشان داده است كه ردياب ارائه شده با توجه به معيارهاي SR و PR نسبت به ردياب‌هاي ديگر در حوزه خود كارايي بيشتري داشته و با سرعت 10.2 فريم در ثانيه به دقت و مقاومت به ترتيب 0.744 و 0.519 رسيده است.

1399/08/06

Video-based human tracking using deep learning

9/17/2021 12:00:00 AM

Visual tracking of humans has been one of the most impressive and important areas in machine vision and has attracted a great deal of attention in recent decades. Despite significant improvements, RGB-based object tracking can be very challenging in some complex situations, such as low illumination, background clutter, as well as bad weather (rain, fog, smoke, etc). Thermal cameras can record infrared radiation emitted by people with temperatures above absolute zero, therefore using thermal data, as well as visible data, could provide more information from the scene to the tracker and improve its performance. These cameras can shoot in the dark as an advantage, and they resist the changes in brightness and light shadows over visible spectrum cameras. On that account, by using RGB-TIR data, the information provided by visible images can be used in normal illumination and weather conditions, and thermal image information can be used in darkness and low illumination conditions. In this study, the proposed tracker has two adapters including general and modality, to use visible and thermal images simultaneously. The general adapter takes both images and extracts the common features between the two modalities. The modality adapter consists of two branches that each belong to one of the images and encodes modality-specific information. Finally, these features are concatenated, and using the RoIAlign layer, the features of each region of interest are extracted. The instance adapter captures these features and specifies the location of the target. The achieved results from the proposed method on recent challenging benchmarks prove that this proposed tracking approach is more efficient than state-of-the-art trackers and has good speed and accuracy.