21222

۲۱۲۲۲

پياده‌سازي الگوريتم شناسايي فعاليت انسان بر روي FPGA بر اساس يادگيري عميق

كارشناسي ارشد

الكترونيك - مدارهاي مجتمع

۱۳۹۸/۶/۳۰

دكتر برادران شكوهي

برق

اخيرا با گسترش شبكه‌هاي اجتماعي و بارگزاري انبوهي از تصاوير، شناسايي فعاليت انسان از تصاوير ثابت، به يك زمينه‌‌ي تحقيقاتي مهم در بينايي كامپيوتر و تشخيص الگو تبديل شده است. اين زمينه سعي دارد كه نوع رفتار يا فعاليت انسان را از تصوير ثابت شناسايي كند. بر خلاف ويدئو، يك تصوير ثابت اطلاعات حركتي ندارد كه به وسيله‌ي آن نوع فعاليت توصيف شود. بنابراين، نياز است تا روش‌‌هاي موثري براي شناسايي نوع فعاليت از تصاوير ثابت، توسعه داده شوند. شبكه هاي كانولوشني عميق (CNN) قابليت خود را در كاربردهاي دسته‌بندي و شناسايي نشان داده‌اند، با اين حال، نيازمند عمليات محاسباتي بالا و پهناي باند متناسب هستند كه موجب مي‌شود بساري از پردازنده ها توانايي دستيابي به عملكرد متناسب را نداشته باشند. به دليل پيچيدگي و ميزان بالاي محاسبات در شبكه‌هاي عصبي كانولوشني، پياده‌سازي‌هاي مبتني بر سخت‌افزارجهت بهبود عملكرد آن‌ها مورد پزوهش قرار دارند. بسترهاي سخت‌افزاري مانند FPGA به طور وسيع براي طراحي معماري‌هاي موازي براي اين منظور مورد بررسي قرار دارند. پس از آموزش شبكه، انتخاب بستري مناسب براي شتابدهي اين شبكه‌ها حائز اهميت است. در اين پژوهش، ما شبكه‌‌هاي عصبي كانولوشني عميق را در تشخيص فعاليت انسان از تصاوير ثابت به كار مي‌‌بريم. براي غلبه بر مشكل كمبود داده، از تكنيك انتقال يادگيري استفاده مي‌‌كنيم. ما يك روش را با در نظر گرفتن شبكه‌‌هاي از قبل آموزش داده شده روي مجموعه داده‌‌ي ImageNet پيشنهاد مي‌‌كنيم و از تكنيك ادغام لايه نرمال‌سازي در لايه كانولوشني بدون كاهش در دقت نهايي جهت كاهش پيچيدگي مدار بهره مي‌‌بريم .در نهايت شبكه پيشنهاد شده را با دقت 97/82% بر روي FPGA مبتني بر فضاي ابري بوسيله زبان‌هاي سطح بالا پياده مي‌كنيم.

1398/08/04

FPGA-based Human Action Recognition using Deep Learning

10/26/2019 12:00:00 AM

Recently still image-based human action recognition has become an active research topic in computer vision and pattern recognition. It focuses on identifying a person's action or behavior from a single image. Unlike the traditional action recognition approaches, where videos or image sequences are used, a still image contains no temporal information for action characterization. Therefore, it is demanding to develop efficient methods for still image-based action recognition. Convolution neural networks (CNNs) have demonstrated their effectiveness in image classification and recognition applications. However, they require intensive computing operations and memory bandwidth that make processors fail to achieve desired performance levels. Due to huge computational requirements of CNNs, dedicated hardware-based implementations are being explored to improve their performance. Hardware platforms such as Field Programmable Gate Arrays (FPGAs) are widely being used to design parallel architectures for this purpose In this research, we investigate the use of CNNs for still image-based human action recognition. To overcome the lack of massive labeled action recognition image data sets, we employ the transfer learning technique. We propose a method by considering pretrained CNNs designed for tackling an entirely different classification problem, namely, the ImageNet challenge, and exploit it to improve the classification accuracy in Stanford 40 dataset. Then by employing Batch Normalizayion fusing into convolutional layers without any loss in accuracy, we propose a FPGA based implementation that can achieve an efficient inference with 82/97% accuracy in a cloud based FPGA.