25237

رويكردها ي مبتني بر فراابتكاري براي تنظيم دقيق پارامترهاي شبكه ي باور عميق

كارشناسي ارشد

مهندسي نرم‌افزار كامپيوتر

1400

1400/06/16

دكتر جواد وحيدي

واحد نور دانشگاه علم و صنعت

يادگيري ماشين رويكرد استقرايي است كه از داده‌هاي آموزش ديده‌ براي توليد مدل استفاده مي‌كند. مدل‌هاي يادگيري ماشين براي تشخيص تصوير، تشخيص گفتار، پردازش زبان طبيعي و ... استفاده مي‌شوند. شبكه‌ي عصبي يكي از مدل‌هاي يادگيري ماشين مي‌باشد كه به طور گسترده به عنوان يك مدل يادگيري مورد استفاده قرار مي‌گيرد. شبكه‌هاي عصبي به دو دسته‌ي تك‌لايه و چند لايه تقسيم مي‌شوند. يادگيري عميق تكنيكي است كه مشكلات شبكه‌هاي عصبي چندلايه را برطرف كرده است. تكنيك‌هاي يادگيري عميق به چهار دسته‌ي شبكه‌هاي عصبي پيچشي، ماشين‌هاي رمزگذار، خودرمزگذارهاي تنك و ماشين‌هاي بولتزمن تقسيم مي‌شوند. يكي از محدوديت‌هايي كه در شبكه‌هاي عصبي وجود دارد تنظيم تعداد زيادي از پارامترها است كه مي‌تواند به يك مسئله‌ي غيرقابل حل تبديل شود. در يك شبكه‌ي عصبي، هر چه پارامترها با دقت بيشتري تنظيم شوند مدل دقيق‌تري ايجاد مي‌شود به طوريكه اين مدل در مواجه با داده‌هاي تست، خطاي كمتري دارد و پيش‌بيني دقيق‌تري را انجام مي‌دهد. ماشين‌هاي بولتزمن محدودشونده مدل‌هاي احتمالي هستند كه براي مدل‌سازي توزيع داده‌هاي ورودي از يك لايه باينري پنهان استفاده مي‌كنند. اگر تعداد لايه‌هاي پنهان به چند لايه افزايش پيدا كند ماشين بولتزمن محدودشونده به شبكه‌ي باور عميق تبديل مي‌شود. در اين پايان‌نامه، مسئله‌ي «تنظيم دقيق پارامترهاي شبكه‌ي باور عميق با الگوريتم‌هاي فراابتكاري» به عنوان يك مسئله‌ي بهينه‌سازي مطرح مي‌شود و از الگوريتم‌هاي فراابتكاري ژنتيك، ازدحام جمعيت، وال، ملخ، شير مورچه و گرگ خاكستري استفاده مي‌شود تا بهترين مقادير براي پارامترهاي تعداد واحدهاي پنهان، نرخ يادگيري، مومنتوم و انزوال وزن بدست بيايد.

1400/07/02

metaheuristic-driven approaches to fine-tune Deep Belief Network

1/1/1900 12:00:00 AM

Machine learning is an inductive approach that uses trained data to generate models. Machine learning models are used for image recognition, speech recognition, natural language processing, and more. Neural network is one of the machine learning models that is widely used as a learning model. Neural networks are divided into two categories, monolayer and multilayer. Deep learning is a technique that solves the problems of multilayer neural networks. Deep learning techniques include convolution neural networks, encryption machines, Sparse coding, and Boltzmann machines. One of the limitations of neural networks is the setting of a large number of parameters that can become an unsolvable problem. One of the limitations of neural networks is the setting of a large number of parameters that can become an unsolvable problem. In a neural network, the more precisely the parameters are adjusted, the more accurate the model is created, so that this model has less error in the face of test data and makes more accurate predictions. Restricted Boltzmann Machines are probabilistic models that use a hidden binary layer to model the input data distribution. If the number of hidden layers increases to several layers, the restricted Boltzmann machine becomes a deep network of belief. In this dissertation, the problem of " metaheuristic-driven approaches to fine-tune Deep Belief Network" is presented as an optimization problem and genetic metaheuristic algorithms, PSO, whales, grasshopper, ant lions and gray wolves are used to find the best values for the parameter hidden units, learning rate, momentum and weight decay.

يادگيري عميق , شبكه‌ي باور عميق , تنظيم پارامتر , الگوريتم‌هاي فراابتكاري

Deep learning , Deep belief network , Fine-tune parameter , Meta-heuristic algorithms