14262

بررسي بكارگيري محاسبات تقريبي در شبكه‌هاي عصبي عميق

1402

دكتر هادي‌شهريار شاه‌حسيني

شبكه‌هاي عصبي عميق (DNN) در سال‌هاي اخير به دليل توانايي در شناسايي الگوهاي پيچيده، به‌طور گسترده‌اي در حوزه‌هاي گوناگون از جمله پردازش تصوير، تشخيص گفتار، و ترجمه زبان به كار گرفته مي‌شوند. با اين حال، اين شبكه‌ها با چالش‌هايي مانند نياز به منابع محاسباتي و انرژي بالا مواجه‌اند، به‌ويژه در محيط‌هاي كم‌مصرف و محدود، مانند دستگاه‌هاي موبايل و اينترنت اشيا .(IoT) براي كاهش مصرف انرژي و افزايش بهره‌وري، روش‌هاي محاسبات تقريبي پيشنهاد شده‌اند. اين روش‌ها با حذف برخي محاسبات دقيق و كاهش دقت داده‌ها، مصرف انرژي را كاهش داده و كارايي را بهبود مي‌بخشند، اما ممكن است به كاهش دقت شبكه منجر شوند. در اين گزارش، به معرفي و بررسي انواع روش‌هاي محاسبات تقريبي و تكنيك‌هاي جبران خطا در شبكه‌هاي عصبي پرداخته شده است. ابتدا ساختار شبكه‌هاي عصبي و چالش‌هاي محاسباتي آن‌ها مرور شده و سپس روش‌هاي مختلف محاسبات تقريبي، مانند كاهش دقت، هرس، استفاده از ضرب‌كننده‌هاي تقريبي و كاهش حجم محاسبات بررسي شده‌اند. همچنين، تكنيك‌هاي جبران خطا مانند بازآموزي، جبران خطاهاي آماري و بهينه‌سازي معيارهاي خطا معرفي شده‌اند كه با حفظ دقت شبكه، امكان استفاده از محاسبات تقريبي را فراهم مي‌كنند. اين پژوهش نشان مي‌دهد كه استفاده از محاسبات تقريبي و روش‌هاي جبران خطا، به‌ويژه در كاربردهاي كم‌مصرف و دستگاه‌هاي محدود، مي‌تواند باعث بهبود كارايي و كاهش هزينه‌ها شود، بدون اينكه دقت محاسبات شبكه به‌طور چشمگيري تحت تأثير قرار گيرد.

11/13/2024 12:00:00 AM

85166

1403/09/21

A Survey on Approximation Methods in Deep Neural Networks

شبكه‌هاي عصبي عميق , محاسبات تقريبي , جبران خط , بهينه‌سازي مصرف انرژي , شتاب‌دهنده‌هاي سخت‌افزاري , كاهش دقت , يادگيري عميق

Deep Neural Networks , Approximate Computing , Error Compensation , Accuracy Reduction , Energy Optimization , Hardware Accelerators , Deep Learning