28118

فشرده سازي شبكه هاي يادگيري عميق با استفاده از تجزيه باينري

كارشناسي ارشد

مهندسي برق

1399

1401/12/22

دكتر محمد حسين كهايي

مهندسي برق

استفاده از شبكه هاي يادگيري عميق در مسائل مختلف مهندسي برق مانند تخمين جهت، بينايي ماشين، شناسايي اهداف راداري و ... به دليل عملكرد بالاي آن ها به امري رايج تبديل شده است. دقت بالاي شبكه هاي يادگيري عميق مدرن مديون افزايش مداوم تعداد پارامتر هاي آن هاست است، كه به نوبه خود منجر به افزايش پيچيدگي محاسباتي شبكه ها و دشواري در پياده سازي عملي آن ها مي شود. يك راه حل موثر براي كاهش هزينه هاي محاسباتي شبكه هاي يادگيري عميق، تجزيه لايه هاي آن ها است. در اين پايان نامه، روش DNN-FLM كه مبتني بر تجزيه لايه هاي شبكه هاي يادگيري عميق با استفاده از تجزيه باينري است، ارائه شده و عملكرد اين روش با انجام شبيه سازي بررسي مي شود. شبكه هاي مورد استفاده يك شبكه خودكدگذار، LeNet-300-100، LeNet5، VGG، ResNe50، ResNet164، RNN، GRU و LSTM هستند. هم چنين، آموزش اين شبͺه ها با استفاده از ديتاست هاي PTB و ImageNet ،CIFAR-100 ،CIFAR-10 ،MNIST انجام شده است. نتايج شبيه سازي هاي انجام شده حاكي از برتري روش DNN-FLM نسبت به ساير روش هاي فشرده سازي در هستند، به گونه اي كه ميزان حافظه و تعداد محاسبات مورد نياز در شبكه هاي فشرده شده با استفاده از روش DNN-FLM ،حدود 15 −25 %كمتر از شبكه هاي فشرده شده با ساير روش ها هستند.

1402/01/29

Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization

3/12/2024 12:00:00 AM

Abstract: Deep learning is widely recognized as a powerful tool in solving different problems such as: radar target recognition, machine vision, direction of arrival estimation, etc. due to its outstanding performance, which can be attributed to the ever-increasing size of deep neural networks (DNNs). Many state-of-the-art DNNs consist of billions of parameters, which makes them almost impossible to implement on hardware with power or energy constraints. An efficient method of reducing computational complexity of DNNs is layer factorization. In this thesis, FLM-DNN method is proposed, which aims to reduce the required memory and computational complexity of DNNs by applying binary matrix factorization to DNN layers.The performance of the proposed method is examined using computer simulations. The networks used for this purpose are: an autoencoder, LeNet-300-100, LeNet-5, VGG, ResNet50, ResNet-164, RNN, GRU, and two LSTM networks. These networks are trained and tested using MNIST, CIFAR-10, CIFAR-100, ImageNet, and PTB datasets. The results of our simulations verify the superiority of our proposed method in reducing the computational complexity of DNNs, while causing negligible drop in accuracy. On average, compared to other DNN compression methods, the required memory and the number of FLOPs for a given DNN is 15-20% lower when compressed via FLM-DNN. Keywords: Deep neural netwroks, Matrix factorization, Computation reduction

شبكه هاي يادگيري عميق , كاهش محاسبات , تحزيه ماتريس

Deep Neural Networks , Matrix factorization , Computation reduction

Alireza Bordbar

Dr. Mohammad Hossein Kahaei