22835

ارايه يك مدل احتمالي به منظور پيش بيني فعاليت انسان

دكتري

هوش مصنوعي

1392

1399/7/6

دكتر محمود فتحي - دكتر احمد اكبري

دكتر احسان عادلي

كامپيوتر

بازشناسي خودكار فعاليت‌هاي انسان، بخشي جدايي‌ناپذير از هر برنامه تعاملي با انسان است. همچنين به منظور ارتباط مؤثر با انسان سامانه‌ها معمولاً نياز دارند تا پيش از اينكه فعاليت تمام شود آن را تشخيص دهند. با اين وجود بازشناسي زود هنگام فعاليت‌ها با چالش‌هايي همراه است. يكي از چالش‌هاي عمده براي بازشناسي و پيش‌بيني فعاليت، تنوع در نحوه اجراي فعاليت افراد است. افراد فعاليت‌هاي يكسان را به اشكال مختلفي انجام مي‌دهند. همچنين بعضي از فعاليت‌ها ساده، سريع و كوتاه هستند، در حالي كه بسياري ديگر پيچيده و داراي جزييات هستند و در مدت زمان طولاني انجام مي‌شوند. در اين پايان‌نامه، ما با استفاده از تعريف روابط در قالب پيش‌بيني ساختاري، روشي را ارائه كرديم كه مي‌تواند فعاليت‌هاي ساده و پيچيده را توأمان تشخيص دهد. ما از داده اسكلت كه از حس‌گرهاي عمق ارزان ‌قيمت به دست آمده است و توصيف سطح بالايي از بدن انسان است، استفاده كرديم. با استفاده از داده اسكلت سه‌بعدي روش ما در برابر تغييرات محيطي ازجمله تغييرات نور، پيش‌زمينه پيچيده، تغييرات شكل بدن و تغيير زاويه ديد و ... مقاوم خواهد بود. ما مدل گرافي احتمالي جديدي را معرفي كرديم كه قادر است، فعاليت‌هاي پيچيده و ساده را در قالب مسئله دنباله برچسب‌ها بازشناسي و پيش بيني كند. براي بهينه‌سازي پارامترهاي مدل گرافي احتمالي، از روش پيش‌بيني ساختاري توزيع شده استفاده مي‌كنيم. انواع مختلف فعاليت‌ها در فضاهاي گسترده‌اي از فعاليت‌هاي ممكن قرار مي‌گيرند كه نياز به مدل‌هاي مختلف با پارامترهاي مختلفي دارند. براي حل مشكل پارامترهاي مختلف در مدل‌ها ما مكانيزم تعويض رده را ارائه كرديم تا بين مدل‌هاي مختلف تعويض نمايد. در اين روش ساختار مدل گرافي احتمالي ثابت است ولي ماژول تعويض رده بين مجموعه پارامترهاي مختلف تعويض مي‌كند. مدل گرافي احتمالي ما داراي متغيرهاي پنهان است ولي با استفاده از الگوريتم‌هاي خوشه‌بندي تبديل به مدلي با متغير‌هاي آشكار مي‌شود و از اين طريق مقدار دهي اوليه انجام مي‌شود. با اين روش سرعت آموزش افزايش پيدا مي‌كند ولي دقت كاهش پيدا نمي‌كند. همچنين روش ما به روش‌هاي خوشه‌بندي حساس است و ما الگوريتم‌هاي مختلف خوشه‌بندي به منظور مقدار دهي اوليه را بررسي كرديم. ما روش ارائه شده را برروي سه مجموعه داده CAD-60، UT-Kinectو Florence 3D كه هر دو نوع فعاليت ساده و پيچيده را پوشش مي‌دهند به طور گسترده مورد آزمايش قرار داديم و به ترتيب دقت‌هاي درستي تشخيص97.6٪ ، 100٪ و 96.11٪ به دست آمد. همچنين هنگامي كه نيمي از ويديو مشاهده شده بود ما دقت درستي تشخيص 93.33٪ و 96.9٪ را براي مجموعه داده‌هاي CAD-60 و UT-Kinectبه دست آورديم. نتايج نشان مي‌دهد كه روش ما مي‌تواند هر دو نوع فعاليت ساده و پيچيده را به طور مؤثر بازنشناسي و پيش بيني كند، در حالي كه اكثر آثار قبلي تنها بر يكي از اين دو نوع تمركز مي‌كنند.

1399/09/05

A Probabilistic Model for Human Activity Prediction

9/27/2020 12:00:00 AM

To communicate with people, robots and vision-based interactive systems often need to understand human activities in advance before the activity is performed completely. However, predicting activities in advance is a very challenging task, because some activities are simple while others are complex and comprised of several smaller atomic sub-activities. In this thesis, we propose a method capable of recognizing and early prediction of simple and complex human activities by formulating it as a structured prediction task using probabilistic graphical models (PGM). We use skeletons captured from low-cost depth sensors as high-level descriptions of the human body. Using 3D skeletons, our method will be robust to the environmental factors (i.e., illumination, complex background, human body shapes, view-point, etc.). In addition, there are different types of activities that systems need to interpret for seamless interaction with humans. We recognize the activities within the context of graphical models in a sequence-labeling framework.We propose a new structured prediction strategy based on probabilistic graphical models (PGMs) to recognize both types of activities (i.e., complex and simple). These activity types are often spanned in very diverse subspaces in the space of all possible activities, which would require different model parameterizations. In order to deal with these parameterization and structural breaks across models, a category-switching scheme is proposed to switch over the models based on the activity types. For parameter optimization, we utilize a distributed structured prediction technique to implement our model in a distributed setting. Our proposed model utilizes a fully observed PGM coupled with a clustering scheme for initialization. Using a fully observed model for initialization, the learning speed increased but the accuracy does not change. Also, our method is sensitive to clustering methods that are used to determine the middle states, we evaluate test different clustering, methods. We test our method on three popular datasets: CAD-60, UT-Kinect, and Florence 3D and obtain recognition accuracies of 97.6%, 100%, and 96.11%, respectively. These datasets cover both simple and complex activities. When only half of the clip is observed, we achieve 93.33% and 96.9% prediction accuracy on CAD-60 and UT-Kinect datasets, respectively.