30718

تشخيص احساسات از روي تصوير چهره توسط يادگيري عميق

كارشناسي ارشد

مهندسي بيوالكتريك

1400

1402/11/30

دكتر حميد بهنام

مهندسي برق

حالات چهره يكي از قوي‌ترين و طبيعي‌ترين سيگنال‌ها براي انسان براي انتقال حالات و مقاصد عاطفي است. به دليل اهميت عملي آن در روبات‌ها، درمان پزشكي، نظارت بر خستگي راننده و بسياري ديگر از سيستم‌هاي تعامل انسان و رايانه، مطالعات متعددي بر روي آناليز بيان خودكار حالت چهره انجام شده است. در زمينه بينايي كامپيوتر و يادگيري ماشين، سيستم‌هاي مختلف تشخيص حالت چهره (FER) براي تشخيص اطلاعات حالات چهره از بازنمايي‌هاي صورت مورد بررسي قرار گرفته‌اند. در سال‌هاي اخير، FER به عملكرد شگفت‌انگيزي در مجموعه داده‌هاي كنترل‌شده آزمايشگاهي دست يافته است، كه صورت‌هاي انسان همگي به حالت جلويي بدون هيچ گونه انسداد هستند. با اين حال، مشكلات تغيير روشنايي، انسداد و تغيير وضعيت در FER زماني كه سناريوي تشخيص از شرايط آزمايشگاهي كنترل شده به شرايط غير آزمايشگاهي منتقل مي‌شود، چالش برانگيز است. عملكرد در مجموعه داده‌هاي غير آزمايشگاهي، بسيار پايين‌تر از مجموعه داده‌هاي كنترل‌شده آزمايشگاهي هستند. بنابراين مطالعات مربوطه عمدتاً بر روي FER مبتني بر تصوير در طبيعت متمركز است. در اين پژوهش، يك شبكه دو شاخه‌اي توجه چند مقياسي و محلي و استخراج نقاط عطف چهره، براي براي FER در طبيعت پيشنهاد شده است. مدل پيشنهادي مي‌تواند ويژگي‌هاي كلي و محلي قوي‌اي را به دست آورد كه مي‌تواند مسائل مربوط به انسداد چهره و حالت غير‌جلويي چهره را به خوبي برطرف كند. دقت مدل ارائه شده در مجموعه داده‌هاي RAF-DB، AffectNet و CAER-S به ترتيب 89.70، 69.33 و 90.62 مي‌باشد.

1403/01/27

facial expression recognition from face image using deep learning

2/18/2025 12:00:00 AM

Facial expressions are one of the strongest and most natural signals for humans to convey emotional states and intentions. Due to its practical importance in robots, medical treatment, driver fatigue monitoring and many other human-computer interaction systems, many studies have been conducted on automatic facial expression analysis. In the field of computer vision and machine learning, various facial expression recognition (FER) systems have been investigated to recognize facial expression information from face representations. In recent years, FER has achieved amazing performance on controlled laboratory datasets, where human faces are all front-facing without any occlusion. However, the problems of illumination change, occlusion and state change in FER are challenging when the detection scenario is transferred from controlled laboratory conditions to non-laboratory conditions. The performance on the non-laboratory data set is much lower than on the controlled laboratory data set. Therefore, relevant studies mainly focus on image-based FER in nature. In this research, a two-branch network of multi-scale and local attention and face landmark extraction is proposed for FER in nature. The proposed model can obtain strong global and local features that can solve the problems of face occlusion and face non-frontal state well. The accuracy of the model presented in RAF-DB, AffectNet and CAER-S datasets is 89.70, 69.33 and 90.62, respectively.

تشخيص احساسات چهره , بادگيري عميق

Facial expression recognition , Deep learning

Alireza Ansari Renani

Dr.Hamid Behnam