10353

بررسي روش هاي تنك سازي شبكه هاي يادگيري عميق

1400-1401

دكتر محمد حسين كهايي

-

شبكه هاي يادگيري عميق عملكرد تحسين برانگيزي براي حل مسائل يادگيري ماشين 1 نشان داده اند. هر چند، شبكه هاي امروزي كه داراي دقّت بالا هستند، عموما Overparametrized هستند، بدين معنا كه تعداد وزن ها و نورون هاي شبكه از تعداد داده هاي آموزشي بسيار بيشتر است و شبكه طراحي شده درجات آزادي زيادي براي حل يك مسأله مشخص دارد . دليل استفاده از چنين شبكه هايي، نداشتن دانش كافي نسبت به ساختار بهينه )تعداد لايه هاي پنهان، تعداد نورون ها در هر لايه، اتصال وزن ها و ...( است. استفاده از يك شبكه با درجات آزادي بالا، عملكرد مناسب را به شرط انتخاب صحيح ساير پارامتر ها تضمين مي كند. چنين ساختاري از لحا ظ طراحي ساده بوده، امّا به قيمت پيچيدگي محاسباتي و زمان آموزش طولاني در مرحله آموزش تمام مي شود. خوشبختانه، اكثر سيستم هاي خانگي مدرن قابليت پردازش طيف وسيعي از اين شبكه ها را دارند، امّا در كاربرد هايي كه انرژي يا حافظه در دسترس محدود است )مانند دستگاه هاي سيار يا تلفن همراه( استفاده از اين شبكه ها ممكن نيست. از طرف ديگر، داشتن درجات آزادي زياد به معناي امكان پيش برازش كردن داده ها توسط است، امري كه مي تواند موجب كاهش دقّت شبكه هنگام استفاده از داده هاي جديد شود. در اين گزارش، تنك سازي به عنوان روشي براي كاهش هزينه محاسباتي، حافظه و انرژي مورد نياز در شبكه هاي يادگيري عميق مورد بررسي قرار مي گيرد. بعد از بررسي مفاهيم پايه در فصل اول، در فصل دوم روش هاي تنك سازي ديناميك و انواع آن ها بررسي خواهد شد. سپس، در فصل سوم، روش هاي تنك سازي كوتاه مدت كه با هدف محدود كردن تعداد نورون هاي فعال به ازاي هر داده طراحي شده اند، ارائه مي شوند.

12/8/2021 12:00:00 AM

73611

1400/10/09

A Survey on Deep Neural Network Sparsification Methods

يادگيري عميق , شبكه هاي عصبي , فشرده سازي

Deep Learning , Neural Network , Compression