27430

بازسازي تصوير چهره از دنبالە ي تصاوير با استفاده از يادگيري عميق

كارشناسي ارشد

مهندسي كامپيوتر - گرايش هوش مصنوعي و رباتيكز

1398

1401/06/12

دكتر محمدرضا محمدي

مهندسي كامپيوتر

امروزه با زياد شدن موارد استفاده از دوربين هاي نظارت،ͬ شناسايي افراد در تصاوير ثبت شده اهميت زيادي پيدا كرده است. با توجه به شرايطͬ كه دوربين هاي نظارتͬ در آن نصب هستند در بسياري از مواقع تصوير افراد بە خوبي توسط دوربين ها ثبت نشده و چهره افراد بي كيفيت و نسبت به دوربين زاويە دار است. روبرو نبودن چهره، گاه مͬ تواند منجر به عدم تشخيص فرد توسط ناظر انسانͬ يا اشتباه سيستم هاي بازشناسͬ چهره شود. امروزه روش هاي با ناظر و بدون ناظري براي روبروسازي چهره ارائه شده است كه تصوير ورودي را گرفته و سعͬ در روبرو ساختن آن با حفظ هويت دارند. نكته مهم تمام اين روش ها، روبروسازي تصوير چهره تنها بر اساس ي ͷتصوير است حال آن كه دوربين هاي نظارتͬ قادر به ثبت تصاوير بە صورت ويدئو هستند. در روش هاي با ناظر، از مجموعه دادە هايي براي آموزش شبͺه استفاده مͬ شود كه در شرايط آزمايشͽاهͬ و كم چالش جمع آوري شدە اند و به همين دليل با وجود پيشرفت هايي كه روش هاي جديد داشتە اند هنوز در شرايط پرچالش تعميم دهͬ مناسبي ندارند. روش هاي بدون ناظر هم با گذشت زمان بهبود قابل توجهͬ داشتە اند ولͬ هم چنان ضعيف تر از روش هاي با ناظر هستند. در اين كار ابتدا ي ͷمجموعه داده مناسب و پرچالش مبتنͬ بر دنباله تصاوير براي آموزش با ناظر شبͺه جمع آوري شدە است. در اين تحقيق ي ͷمدل مولد رقابتͬ براي اين كار معرفͬ شده كه مدل مولد آن يͷ شبͺه كدگذار⁃كدگشا است كه هر كدام از سه سطح با ابعاد مشابه تشͺيل شدە اند. قسمت كدگذار مدل مولد براي تمام تصاوير ورودي مشترك است. از ويژگͬ هاي استخراج شده از تمام فريم ها در اتصالات ميانبر، مفاهيم و ويژگͬ هاي زمانͬ استخراج مͬ كنيم. براي بهبود كيفيت خروجͬ نهايي بدست آمده در كدگشا، تابع ضرر بازسازي را در خروجͬ تمام سطوح آن قرار داده تا ويژگͬ هاي بهتري استخراج شوند. در قسمت تابع ضرر مبتنͬ بر پيͺسل تغييراتͬ ايجاد شده تا زاويه چهره ورودي را ياد گرفته و بر اساس آن چهره را بازسازي كرده و پس زمينه تصوير را ناديده بͽيرد. با اعمال تغييرات فوق دقت بازشناسͬ تصاوير خروجͬ نسبت به مدل پايه، در تصاوير تست با زاويه چرخش كم 20درصد و در تصاوير با زاويه چرخش زياد نزدي ͷبه 40درصد افزايش دقت داشته است. تصاوير روبرو شده با اين روش نيز از نظر ميانگين زاويه چهره و كيفيت، نسبت به مدل پايه بهبود قابل توجهͬ داشتە اند

1401/08/21

Face Image Reconstruction from Sequence of Images using Deep Learning

9/3/2023 12:00:00 AM

Nowadays, with the increasing use of surveillance cameras, identifying people using recorded images has become very important. Due to the condition in which those cameras are installed, the images often are not recorded in proper condition; the faces in the images are not frontal. This situation can cause confusion in recognizing people by human supervision or automatic face recognition systems. Many supervised and unsupervised methods for face frontalization have been developed, which take the input image and try to frontalize it while preserving identity. The critical point of all these methods is that face frontalization is done based on an image, while surveillance cameras are able to record video. In supervised methods, the dataset used to train the model is usually collected under low-challenging conditions. Therefore, despite so many improvements in the field, they will not perform well under challenging conditions; unsupervised-based methods have made significant progress over the years, but they still have low accuracy in face recognition. First, we collected a challenging sequence-based dataset of face images suitable for supervised learning. This work proposes a generative adversarial network, and its generative model is an encoder-decoder network. The encoder is shared across all input frames. We extract the temporal features from the features that are extracted in all levels of the generative model for all frames with convolutionalGRU blocks. The decoder subnetwork tries to reconstruct the target image on different scales. In the pixel-wise loss, we only calculate the loss for the facial part of the image, and the face pose in input images is important in facial reconstruction; this makes the model learn the facial pose and face regions in the image and reconstruct the image duo to this information. With our work, the recognition accuracy improved by 20 percent in low angles and about 40 percent in high angles in face recognition on unseen data compared to the base model. Our model can generate better images in pose and quality than the base model.

بازسازي چهره , روبروسازي چهره , يادگيري عميق , شبكه هاي مولد رقابتي , ترجمه تصوير به تصوير

face reconstruction , face frontalization , deep learning , generative adversarial networks , image to image translation

Ramin Kamali

Mohammadreza Mohammadi