25976

دسته بندي صداي شليك گلوله با استفاده از شبكه عصبي عميق

كارشناسي ارشد

مهندسي برق- مخابرات ـ سيستم

1397

1400/7/24

سيد علي اصغر بهشتي شيرازي

مهندسي برق

دسته¬بندي صداي شليك گلوله در چند دهه اخير از جانب محققين و مهندسين مورد توجه بسياري قرار گرفته است كه كاربردهاي عملي در زمينه¬هاي امنيتي، نظامي، جنايي، كنترل اسلحه و ... دارد. در اين زمينه نيز همانند زمينه¬هاي مشابهي مثل دسته¬بندي صداهاي مختلف محيط با چالش¬هايي از جمله بازتاب، تضعيف، نويز و ... مواجه هستيم. علاوه بر اين چالش¬ها، در زمينه دسته¬بندي صداي شليك گلوله، وابستگي زيادي بين عملكرد سيستم و اطلاعات مكاني همچون فاصله شليك كننده از سنسور و جهت سلاح شليك كننده نسبت به سنسور، قابل مشاهده است. در اين پژوهش، براي بهبود عملكرد در شرايط نامساعد محيطي ابتدا پيش¬پردازشي ابتكاري روي سيگنال-هاي خام صداي شليك گلوله انجام مي¬شود كه از تاثير نويز بر روي اطلاعات لازم براي دسته¬بندي تا حد زيادي مي¬كاهد. در اين پيش¬پردازش قسمت¬هاي موثر و برجسته سيگنال صدا تعيين مي¬شوند. ميزان برجسته بودن سيگنال در اين كاربرد با ميزان انرژي سيگنال در فركانس¬هاي بالا مشخص مي¬گردد. از آنجا كه سيگنال صداي شليك گلوله سيگنالي ضربه¬اي است نسبت به صداهاي عادي پس¬زمينه داراي انرژي بيشتري در فركانس¬هاي بالاست. پس از تعيين نواحي موثر و برجسته سيگنال¬ها، با استفاده از سه روش استخراج ويژگي مختلف ويژگي¬هاي مناسبي از آن¬ها در قالب تصاويري خاكستري استخراج مي¬كنيم، با تركيب اين ويژگي¬ها تصاوير رنگي حاصل مي¬شوند كه حاوي اطلاعات متنوعي از سيگنال خام هستند و قدرت تفكيك مناسبي را بين كلاس¬ها در شرايط نامساعد نويز محيطي فراهم مي¬كنند. در نهايت با عرضه اين تصاوير به شبكه¬هاي عصبي كانولوشني دسته (نوع اسلحه) صداي شليك گلوله مشخص مي¬شود. از تكنيك خاص انتقال يادگيري در آموزش شبكه عصبي كانولوشني استفاده شده است تا از تجربه تشخيص الگو شبكه كه در حوزه¬هاي ديگر كسب كرده است براي هدف اين پژوهش استفاده كنيم. با در نظر گرفتن طول ثابت يك ثانيه¬اي براي صداي شليك گلوله¬هاي مختلف، روش پيشنهادي با ارائه ويژگي تركيبي موجب افزايش 19.74 درصدي ميانگين دقت دسته¬بندي در شرايط مختلف نويز محيطي شده است به گونه¬اي كه در مقايسه با ميانگين دقت روش مرجع (مرجع اول) در شرايط نويز مختلف (حالت بدون نويز تا صفر دي¬بي) كه 46.25 درصد است به ميانگين دقت 65.99 رسيده است. گرچه در شرايط بدون نويز روش پيشنهادي با دقت 92.68 درصد تنها 2.39 درصد نسبت به روش مرجع بهبود داشته است ولي در اين پژوهش غير از دقت دسته¬بندي روش¬ها مقاومت آن¬ها را در مقابل نويز نيز معيار قرار داده¬ايم چون در شرايطي واقعي اغلب با چالش سيگنال ورودي نويزي مواجه هستيم. از اين¬رو ميانگين و واريانس دقت دسته¬بندي روش¬ها را نيز در شرايط نويزي مختلف در نظر گرفته¬ايم. با استفاده از روش پيشنهادي براي تعيين قسمت¬هاي موثر و برجسته سيگنال، تاثير مخرب نويز بر دقت دسته¬بندي را بيشتر كاهش داده¬ايم. با انتخاب بخش مفيد سيگنال¬ها و استخراج ويژگي تركيبي از آن¬ها در شرايط نويزي مختلف، ميانگين دقت دسته¬بندي به 74.74 درصد رسيده است كه نسبت به حالت عدم استفاده از تعيين كننده بخش موثر سيگنال دقت به اندازه 8.75 درصد و نسبت به روش پيشنهادي مرجع 28.49 درصد افزايش يافته است. جهت مستقل شدن نتايج دسته¬بندي از اطلاعات مكاني شليك كننده، نمونه¬هاي ديتاست را كه در فاصله و جهت¬هاي مختلف نسبت به سنسور ثبت شده¬اند به صورت يكنواخت بين مجموعه داده¬هاي آموزشي و آزمايشي تقسيم مي¬كنيم. در مرجع دوم، براي دسته¬بندي صداهاي شليك گلوله از چندين سنسور استفاده شده است و اطلاعات مكاني شليك كننده را در كنار سيگنال ورودي سنسورها در اختيار دارند ولي نشان داده¬ايم با روش پيشنهادي كه تقسيم ديتاست در آن به شيوه مناسبي صورت گرفته است، مي-توان بدون استفاده از اطلاعات تكميلي فاصله و جهت شليك كننده به دقت مناسب 92.68 درصد دست يافت.

1400/11/11

gunshot classification using deep neural network

10/16/2022 12:00:00 AM

In recent years, gunshot classification has been given much attention by researchers and engineers, which has practical applications in the fields of security, military, criminal, and weapons control. In this field, as in similar fields such as the classification of different ambient sounds, we face challenges such as reflection, attenuation, and noise. In addition to these challenges, in the field of gunshot classification, there is a strong correlation between system performance and spatial information such as the distance of the shooter from the sensor and the direction of the firing weapon relative to the sensor. In this study, in order to improve performance in adverse environmental conditions, an innovative pre-processing is first performed on the raw gunshot signals, which greatly reduces the effect of noise on the information required for classification. In this pre-processing, the effective and prominent parts of the sound signal are determined. The degree of prominence of the signal in this application is determined by the amount of signal energy at high frequencies. Since gunshot is an impulsive signal, it has more energy at higher frequencies compared to normal background sounds. After determining the effective and prominent areas of the signals, we extract the appropriate features from them in the form of gray images, using three different feature extraction methods. By combining these features, color images are obtained that contain various information of raw signals and provides good resolution between classes in adverse environmental noise conditions. Finally, the class of the gunshot is determined by presenting these images to the convolutional neural networks. Transfer learning technique has been used in the training of convolutional neural network to use the experience of pattern recognition gained in other areas for the purpose of this research. Considering a fixed length of one second for different gunshot, the proposed method, by providing a combined feature, increases the average accuracy of classification in different conditions of ambient noise by 19.74%, so that compared to the average accuracy of reference method (first reference) which is 46.25%, has reached an average accuracy of 65.99 in different noise conditions (noise-free to zero dB mode). Although in the noise-free condition, the proposed method with an accuracy of 92.68% has improved only 2.39% compared to the reference method, but in this study, in addition to the accuracy of classification of methods, we have also considered their resistance to noise, because in real conditions we are often challenged by the noisy input signal. Therefore, we have considered the mean and variance of the classification accuracy of methods in different noise conditions. By using the proposed method to determine the effective and prominent parts of the signal, we have further reduced the destructive effect of noise on the classification accuracy. By selecting the useful part of the signals and extracting a combination of features of them in different noise conditions, the average classification accuracy has reached 74.74%, which is 8.75% increase compared to the case we do not determine the prominent parts, and it also has increased by 28.49% compared to reference method. In order to make classification resultd independent of the shooter spatial information, we distribute the data samples recorded at different distances and directions to the sensor uniformly between the train and test data sets. In the second reference, several sensors are used to classify gunshots and have the location information of the shooter in addition to the input signal of the sensors, but we have shown that the proposed method, which divides the data properly, can achieve the accuracy of 92.68% without using additional information distance and direction of the shooter.