24029

بازشناسي رويداد و خلاصه‌سازي ويديو در ورزش كشتي آزاد

دكتري

مهندسي كامپيوتر

1390

1400/02/25

دكتر محسن سرياني

دكتر حميد سيفي

مهندسي كامپيوتر

بازشناسي اعمال انسان كاربردهاي فراواني در حوزه پردازش تصوير دارد و سال‌هاست كه پژوهشگران و علاقه‌مندان در اين حوزه كار مي‌كنند. يكي از خلأهاي تحقيقاتي موجود در اين زمينه بازشناسي اعمال ورزشي دونفره است. در اين پژوهش، بازشناسي اعمال ورزشكاران در كشتي آزاد انتخاب‌شده و مجموعه‌داده‌اي از فنون كشتي در دو قالب ويديوهاي اصلي تمام‌رنگي و ويديوهاي پيش‌زمينه به‌صورت سايه‌نما تهيه شده‌است. در اولين تلاش، اسكلت سايه‌نماي ورزشكاران تبديل به گرافي به نام گراف آزاد مي‌شود. برخلاف روشهاي رايجي كه از مدل بدن استفاده مي‌كنند، اين گراف مستقل از مدل بدن است؛ با اين حال ساختار تقريبي اسكلت بدن را نشان مي‌دهد. با محاسبه هيستوگرام نقاط گراف، ويژگيها را استخراج و از الگوريتمهاي SVM و KNN براي دسته¬بندي استفاده كرديم. بالاترين دقت با KNN برابر 9/82% و براي SVM 3/%68 به‌دست آمد. براي ارزيابي و مقايسه روش پيشنهادي، آزمايشها را روي دو مجموعه‌داده‌ي عمومي SBU و THETIS نيز انجام داديم. نتايج به‌دست آمده، قابل مقايسه با روشهاي مشابه بوده و براي كار در اين حوزه رضايت بخش به‌نظر مي‌رسد. در ادامه پژوهش، از روشهاي يادگيري عميق و از جمله شبكه¬ي LSTM استفاده كرديم. براي استحراج ويژگي شبكه‌اي فرضي را به‌كار برديم كه براي بازشناسي تصاوير آموزش ديده است. ابتدا فريمهاي ويديويي به اين داده شده و خروجي آن وارد شبكه LSTM مي‌شود. در اين روش علاوه‌بر داده‌هاي RGB معمولي، با بهره‌گيري از رويكرد توجه، از پيش‌زمينه ويديوها نيز به عنوان ورودي استفاده و آزمايشها را تكرار كرديم. براي جبران حجم نسبتا كم داده‌ها در يادگيري عميق، از روشهاي داده¬افزايي تصاوير و ويديو استفاده كرديم. علاوه بر داده‌افزايي ويديو در بعد زمان، داده‌افزايي تصوير را به روشهاي مختلف و همچنين با رويكردهاي قطعي و تصادفي انجام داديم. نتايج به‌دست‌آمده نشان از تأثير مثبت داده¬افزايي روي عمكرد سامانه دارد. با اين وجود بايد در داده‌افزايي عوامل ديگري از جمله مجموعه‌داده را در نظر داشته و با دقت لازم اين كار را انجام گردد.

1400/04/27

Event Recognition and Video Summarization in Freestyle Wrestling

1/1/1900 12:00:00 AM

Recognition of human actions and behavior has many applications in the field of image processing, and researchers have been working in this field for many years. One of the research gaps in this field is the recognition of the two-person sport. In this study, the recognition of athletes' actions on the freestyle wrestling was selected and a dataset of wrestling techniques was prepared. In the first attempt, the human’s silhouette skeleton was converted to a graph named “free graph”, and by calculating the histogram of the graph points, called the histogram of graph points. In this approach we used SVM and KNN classification algorithms. The best result for the KNN was 82.9% and SVM 68.3%. To evaluate and compare the proposed method, we also performed experiments on two public datasets, SBU and THETIS. The results are comparable to similar methods and seem to be satisfactory to begin with. In the following, deep learning approaches were used as a second approach using LSTM (long short-term memory) network and also a few experiments using C3D (three-dimensional convolution) network. To use LSTM, we first rendered video data images to a hypothetical trained object recognition network and outputs were fed to the LSTM as features. In this method, in addition to the conventional RGB data, based on the idea and approach of attention, we also used the foreground of the videos as input and repeated the experiments. To compensate for the relatively low volume of data appropriate for deep learning, we used image and video data augmentation methods. We implemented data augmentation approaches and repeated experiments with the aforementioned two deep learning methods. The results show the positive effect of data augmentation on system performance. Studies and results can be used to provide more accurate recognition techniques in sports such as wrestling and also other AR areas. Given the high speed of movement in activities such as wrestling movements, the use of imaging devices with higher precision and frame rates can be very helpful. In addition, the deep learning approach can also lead to good results.

بازشناسي اعمال , كشتي آزاد , ويژگي‌هاي اسكلتي , گراف آزاد , هيستوگرام نقاط گراف , يادگيري عميق , داده افزايي قطعي , داده افزايي تصادفي

Action Recognition , Freestyle Wrestling , Skeleton features , ّّّFree Graph , Histogram of Graph Nodes , Deep learning , Deterministic data augmentation , Random-based data augmentation