7749

ارزيابي عملكرد روش‌هاي فشرده‌سازي شبكه‌هاي عميق

كارشناسي

مهندسي كامپيوتر

1400-1401

دكتر محمدرضا محمدي

دكتر محمدرضا محمدي

1401/01/07

مهندسي كامپيوتر

Evaluate the performance of deep neural network compression methods

باتوجه به اهميت روزافزون شاخه‌هاي مختلف شبكه‌هاي عصبي يا NN ازجمله شبكه‌هاي عصبي عميق يا DNN ، لازم است اين اين مدل‌ها قابليت اجرا بر روي همه‌ي دستگاه‌هاي اكترونيكي از جمله تلفن همراه را داشته باشند. از آنجايي كه حجم اين مدل‌ها بسيار زياد است، روش‌هايي براي فشرده سازي آنها ارائه شده‌اند. امروزه سرعت در اين حوزه از اهميت بالايي برخوردار است ولي سرعت انجام يادگيري‌هاي مختلف براي اجراي اين مدل‌ها پايين است و نيازمند زمان زيادي است. در اين تحقيق دو نمونه از روش‌هاي فشرده سازي به طور كامل بررسي و با نمونه‌ي اصلي با حجم بالا و سرعت كم مقايسه شد. در اين تحقيق سعي شد مدل پايه، معماري پايه و همينطور مدل‌هاي فشرده‌سازي با جزئيات توضيح داده شود تا مقايسه‌ صحيحي بين آنها صورت گيرد. ابتدا به بررسي مفيدترين مقالات و مطالعه‌هاي موجود و مشابه پرداخته شده است و سپس هر روش به طور مجزا توضيح داده شده است. در پايان تحقيق نتيجه‌گيري شد كه با انجام كوانتيزاسيون حجم مدل از نصف هم كمتر شد و از 118مگابايت به حدود 30مگابايت كاهش پيدا كرد. همچنين دقت مدل پايه بعد از 100 دوره به 87 درصد رسيد ولي مدل كوانتيزاسيون quantization-aware training پس از اجراي فقط 50 دوره به دقت 86 درصد رسيد و پس از 100 دوره به حدود 89 درصد و زمان انجام محاسبات به ازاي هر سمپل از 14.11 ميلي ثانيه به 13.17 ميلي ثانيه در مدل quantization-aware training و 12.32 ميلي ثانيه در مدل ايستا رسيد.