26862

تشخيص احساسات منفي براي جلوگيري از وقوع جرم و جنايت از كنشهاي انسان

كارشناسي ارشد

مهندسي كامپيوتر-نرم‌افزار

1397

1400/12/7

دكتر محمدرضا كنگاوري

كامپيوتر

امروزه با وجود دوربينهاي مداربسته ميتوان كنشهاي افراد را در مكانهاي عمومي تحت نظر گرفت علاوهبرآن با ظهور خانههاي هوشمند، كنشهاي افراد در منازل آنها براي رسيدن به اهداف مختلفي همچون تشخيص احساسات ميتواند مورد تحليل و بررسي قرار گيرد و همچنين در صورت نياز با تماس اضطراري مانع از به خطر افتادن سلامت افراد گردد. دانستن اطلاعات كنشي افراد تمام اطلاعاتي است كه ما براي تشخيص احساس افراد به آن نياز داريم. در علم روانشناسي شش احساس پايه شامل: شادي، خشم، نفرت، تعجب، غم و ترس مطرح ميباشد. تمركز اين پاياننامه بر سه احساس منفي خشم، ترس و غم كه بيشترين تهديد را براي فرد و جامعه به همراه دارد، ميباشد. براي تحليل احساس به صورت خودكار، انواع مختلف ورودي )متن، صوت، تصوير و داده حسگرها( از افراد جمعآوري و تحليل ميشوند. روش‌هاي دستي داراي دقت بالايي بوده اما هزينه زماني و مالي زيادي را براي محققان ايجاد ميكردند و پوشش تحقيقاتي كم را شامل مي‌شدند. درحاليكه روشهاي خودكار به صورت خودكار تعداد زيادي از افراد را در تحقيقات مدنظر پوشش ميدادند، هزينههاي مالي و زماني كمتري در مقايسه با روشهاي دستي داشتند ولي دقت كمتري داشتند. در اين پاياننامه، ما يك روش خودكار تشخيص احساس ارائه ميدهيم كه با دقت بالا )در مقايسه با روشهاي پيشين( سه احساس خشم، ترس و غم را پيشبيني نمايد. مهمترين نوآوري ما در اين پژوهش، انتخاب مهمترين و متمايزكننده ترين فريم‌ها در ساخت مدل پيشنهادي مي‌باشد كه موجب يادگيري بهتر و همچنين جلوگيري از اشباع مدل در اثر حجم زياد دادهها جهت آموزش مدل ميباشد. روش پيشنهادي شامل استفاده از الگوريتم Mask R-CNN براي تشخيص انسان و همچنين از كانولوشندوبعدي از يادگيري عميق جهت طبقهبندي و دو الگوريتم Detectron2 و VideoPose3D كه در انتخاب مهمترين و متمايزكنندهترين ويژگيها موثر بوده است. براي اين هدف ابتدا از Mask R-CNN براي شناسايي انسان و محاسبه نسبت بدن انسان و از VideoPose3D و Detectron2 جهت ايجاد گراف سه بعدي)مدل حركتي( بدن انسان استفاده ميكنيم و سرانجام از طبقه‌بند كانولوشن دوبعدي براي پيشبيني سه احساس خشم، ترس و غم استفاده ميكنيم. نتايج ما نشان ميدهد كه اين روش به طور ميانگين با توجه به چهار معيار صحت، معيار اف 1 ، دقت و بازخواني به ترتيب 2.68 ، 1.75 ، 0.26 و 2.91 برحسب درصد نسبت به متدهاي رقيب، در پيشبيني سه احساس خشم، ترس و غم در انسان عملكرد بهتري دارد .

1401/05/31

Detecting negative affections to prevent crime from human activities

2/26/2023 12:00:00 AM

Nowadays, with the presence of CCTV cameras, people's actions can be monitored in public places. In addition, with the advent of smart homes, people's actions in their homes can be analyzed to achieve various goals such as recognizing emotions and also prevent emergency calls if necessary. From endangering people's health. Knowing people's action information is all the information we need to recognize people's feelings. In psychology, there are six basic emotions: happiness, anger, hatred, surprise, sadness and fear. The focus of this dissertation is on the three negative feelings of anger, fear and sadness that pose the greatest threat to the individual and society. To analyze emotion automatically, different types of input (text, audio, image and sensor data) are collected and analyzed from individuals. Manual methods were highly accurate but cost researchers a lot of time and money and included little research coverage. While automated methods automatically covered a large number of people in the research in question, they had lower financial and time costs compared to manual methods but were less accurate. In this dissertation, we present an automatic emotion detection method that accurately predicts (compared to previous methods) the three emotions of anger, fear and sadness. Our most important innovation in this research is the selection of the most important and distinctive frames in the construction of the proposed model, which leads to better learning and also prevents model saturation due to the large amount of data to teach the model. The proposed method includes the use of Mask R-CNN algorithm for human detection as well as convolution, two-dimensional deep learning for classification, and two algorithms, Detectron2 and VideoPose3D, which have been effective in selecting the most important and distinguishing features. For this purpose, we first use the Mask R-CNN to identify humans and calculate the ratio of the human body, and VideoPose3D and Detectron2 to create a three-dimensional graph (motion model) of the human body. Finally, we use a two-dimensional convolution classifier to predict three feelings of anger, fear and sadness. We use. Our results show that this method, on average, according to the four criteria of accuracy, F-measure, recall and precision 68.2, 75.1, 26.0 and 91.2 in terms of percentage compared to competing methods, in predicting the three feelings of anger, fear and sadness in humans It performs better.

احساسات منفي , خشم , ترس , غم , داده‌هاي تصويري , كنش , گراف سه بعدي , يادگيري عميق

Negative emotions , Anger , Fear , Sadness , Video Data , Action , Three-Dimensional Graph , Deep Learning

zeinab noortaghi

mohamadreza kangavari