20504

۲۰۵۰۴

بهبود كارايي يادگيري عميق ويژگي‌ها

دكتري تخصصي

هوش مصنوعي

۱۳۹۸

۱۳۹۸/۰۲/۱۷

دكتر رضا برنگي

دكتر بهروز مينايي

كامپيوتر

در سال‌هاي اخير مدل‌هاي عميق نقش مهمي در توسعه كاربردهاي هوش مصنوعي مخصوصاً در حوزه‌هاي پردازش گفتار، پردازش زبان‌هاي طبيعي و بينايي ماشين داشته‌اند. شبكه‌هاي همگشتي عميق يكي از مدل‌هاي عميق هستند كه در بينايي ماشين نتايج درخشاني ارائه داده‌اند. با اين وجود به‌دليل تعداد زياد پارامترها، محققين با چالش‌هايي از قبيل كاهش حجم محاسبات، كاهش حافظه مصرفي، كاهش مدت فرآيند يادگيري، افزايش دقت عملكرد و تمايل شديد به بيش‌برازش مواجه بوده‌اند. در اين رساله با هدف بهبود چالش‌هاي مذكور، دو شبكه همگشتي مجزا به‌منظور رده‌بندي مجموعه داده‌هاي MNIST، CIFAR-10 و CIFAR-100 پيشنهاد شده است. معماري دو شبكه همگشتي مبتني بر شبكه‌هاي باقي‌مانده و ادراكي طراحي شده و با بهره‌گيري از اصول بنيادين حاكم بر شبكه‌هاي همگشتي، ميزان افزونگي تقليل داده شده است. در مدل پيشنهادي اول، با به‌كارگيري ازدياد تصادفي داده‌هاي ورودي و ادغام تصادفي، تعميم‌پذيري تقويت شده است و با تحميل تعامد نقشه‌ويژگي‌ها در تابع هزينه مدل، ميزان استقلال دو‌به‌دوي نقشه ويژگي‌هاي تقويت شده و به تبع آن افزونگي رايج در آنها كاهش داده شده است. در مدل پيشنهادي دوم، با اعمال حذف تصادفي در نقشه ويژگي‌ها، تعميم‌پذيري تقويت شده است و با تحميل تُنُكي عمقي بر نقشه ‌ويژگي‌ها، با ايجاد بازنمايي توزيع‌شده، تفسيرپذيري و كارايي بازنمايي ساخته شده بهبود داده شده است. در فرآيند آموزش، با به‌كارگيري يك نرخ يادگيري نمايي پريوديك، تنها با صرف زماني در حدود آموزش يك مدل همگشتي، يك ماشين تركيبي متشكل از معماري واحد اما با پارامترهاي متفاوت ساخته شده است. به‌منظور ارزيابي مدل‌ها و صحت عملكرد روش‌هاي پيشنهادي، از تحليل حجم محاسبات، تحليل حافظه مصرفي، تحليل خطا، نمودار پراكندگي و دقت رده‌بندي استفاده شده است. دقت‌هاي بدست آمده در نتيجه به‌كارگيري ايده‌هاي پيشنهادي، 77/99، 98/93 و 12/80 هستند كه به ترتيب براي مجموعه داده‌هاي MNIST ، CIFAR-10 و CIFAR-100 حاصل شده‌اند.

1398/02/30

Improving Performance of Deep Feature Learning

5/20/2019 12:00:00 AM

In recent years, deep models have played an important role in the development of artificial intelligence applications, especially in the areas of speech processing, natural language processing, and computer vision. A deep convolutional neural network is one of the deep models that has provided brilliant results in computer vision domain. However, due to the large number of parameters, researchers have faced challenges such as reducing computational costs, reducing memory usage, increasing the performance accuracy, reducing the learning process time, and preventing overfitting effect. In this thesis, in order to improve these challenges, two separate convolutional neural networks are proposed for the classification of MNIST, CIFAR-10 and CIFAR-100 data sets. The architecture of two convolutional networks are based on residual and inception networks. They are designed to reduce the common redundancy in convolutional networks by taking advantage of the fundamental principles governing these networks. In the first proposed model named OrthoMaps, by taking advantage of data augmentation and fractional pooling generalizability of the network has been improved. Also, by imposing mutual orthogonality of feature maps in the model cost function, the mutual independence of feature maps is reinforced and consequently, common feature map redundancy has been reduced. In the second proposed model named SparseMaps, by applying dropout on feature maps, generalizability has been improved and by imposing depth-wise sparsity on feature maps interpretability and efficiency of representation have been improved. In the training process, using a periodic learning rate, with time spent training a single model, an ensemble machine composed of one architecture but with different parameters is made. In order to evaluate the models and the validity of the proposed methods, computational and memory costs analysis, error analysis, feature space scatter plot and classification accuracy are used. In the end, the best attained accuracy are 99.77, 93.98 and 80.12 for MNIST, CIFAR-10, and CIFAR-100 datasets, respectively.