25346

تشخيص فعاليت انسان با استفاده از شبكه هاي گرافي عميق

كارشناسي ارشد

مهندسي برق- مخابرات سيستم

1397

1400/6/15

دكتر بهشتي شيرازي

مهندسي برق

امروزه سيستم‌هاي نظارتي، در سرتاسر جهان، به‌طور پيوسته در حال جمع‌آوري اطلاعات هستند. از طرفي روزانه هزاران داده‌ي تصويري و ويديويي در فضاي مجازي به ‌اشتراك گذاشته مي‌شوند. استفاده از نيروي انساني براي تحليل اين ويديوها كار زمان‌بر و دشواري است. تشخيص فعاليت انسان در بازيابي و تحليل اين ويديوها، تعامل انسان و كامپيوتر، سرگرمي‌ها و ... كاربرد دارد. اين عمل، در شرايط واقعي به‌علت تغييرات روشنايي، تنوع در نوع انجام فعاليت و ظاهر افراد مختلف و ... سخت است، بنابراين به يك مدل مقاوم براي مقابله با اين چالش‌ها نياز است. با استفاده از يادگيري عميق و دسترسي به مجموعه‌داده‌اي مناسب، مي‌توان مدلي مقاوم نسبت به تغييرات طراحي كرد. در اين پژوهش، با استفاده از شبكه‌هاي كانولوشني گرافي (GCN)، GRU، لايه‌هاي تمام متصل و CNN يك بعدي، دو شبكه‌ي متفاوت معرفي مي‌كنيم. در اين پژوهش از مجموعه‌داده‌ي ETRI Activity3D كه دومين مجموعه‌داده‌ي بزرگ در زمينه‌ي تشخيص فعاليت انسان محسوب مي‌شود، استفاده كرده‌ايم. با استفاده از ورودي مفاصل، استخوانها و سرعت حركت آنها، براي هر كدام از شبكه‌ها و تركيب نتايج، به دقت 07/91 درصد رسيديم. دقت بدست‌آمده در شرايط متفاوت بودن افراد اجراكننده‌ي فعاليت در قسمت آموزش و تست، نسبت به كارهاي قبلي برتري دارد.

1400/07/11

Human action recognition using deep graph networks

9/6/2022 12:00:00 AM

Today, surveillance systems around the world are constantly collecting information. On the other hand, thousands of images and video datas are shared in cyberspace every day. Using manpower to analyze these videos is time consuming and difficult. Human action recognition is used in retrieving and analyzing these videos, human-computer interaction, entertainment, etc. Human action recognition is difficult in real world due to changes in lighting, variety in the type of actions and appearance of different people, etc, so a robust model is needed to deal with these challenges. Using deep learning and access to appropriate datasets, a robust model can be designed. In this research, we introduce two different networks using convolutional graph networks (GCN), GRU fully connected layers and one-dimensional CNN. In this study, we used the ETRI Activity3D dataset, which is the second largest dataset in the field of human action recognition. Using the input of the joints, the bones and their velocities, for each of the networks and fusing the results, we achieved the accuracy of 91.07%. This accuracy is obtained in cross subject and is superior to the previous tasks.

تشخيص فعاليت انسان , يادگيري عميق , شبكه‌هاي كانولوشني گرافي , شبكه‌هاي GRU

Human action recognition , deep learning , graph convolutional networks , GRU networks