شماره ركورد
34471
پديد آورنده
انوش مه جبين
عنوان
ارائه يك روش دقت تركيبي عدد صحيح مؤثر براي افزايش عملكرد در شبكه هاي يادگيري عميق
مقطع تحصيلي
كارشناسي ارشد
رشته تحصيلي
مهندسي كامپيوتر
سال تحصيل
1401
تاريخ دفاع
1404/07/16
استاد راهنما
دكتر حاكم بيت الهي
استاد مشاور
دكتر عبدالله اميرخاني شهركي
دانشكده
مهندسي كامپيوتر
چكيده
شبكههاي عصبي عميق DNNs در حوزه ي بينايي كامپيوتري و سامانه هاي خودران به موفقيت هاي
چشمگيري دست يافته اند، اما افزايش مقياس آن ها منجر به هزينه هاي محاسباتي و مصرف انرژي قابل توجهي
مي شود، به ويژه در هنگام آموزش. چندي سازي راهكاري اميدواركننده براي بهبود اين مشكلات است، اما
روش هاي آموزش زير 8 بيت موجود اغلب با ناپايداري و كاهش چشمگير دقت مواجه مي شوند كه كاربرد عملي
آنها را محدود مي سازد. در ا ين پژوهش، ما روش آموزش ايستا با اعداد صحيح تركيبي SMIT را معرفي
مي كنيم. چارچوبي ساده اما كارآمد براي آموزش سرتاسري شبكه هاي عصبي با پهناي بيت ثابت و ناهمگن
براي وزن ها، فعالسازي ها و گراديان ها. با انجام يك بررسي حساسيت گسترده، پيكربندي بهينه ي
8E6/A4/W( وزن ها با دقت 4 بيت، فعال سازيها با دقت 6 بيت، و گراديان ها با دقت 8 بيت( شناسايي شد
كه تعادلي ميان بهره وري محاسباتي و پايداري آموزش برقرار مي سازد. برخالف روش هاي پويا يا وابسته به
معماري، SMIT بر تخصيص ايستا تكيه دارد و نيازي به تنظيم لايه به لايه يا تغييرات معماري ندارد. آزمايش ها
در وظايف مختلفي از جمله طبقه بندي، تشخيص، و بخشبندي معنايي، اثربخشي SMIT را تأييد مي كنند .
براي نمونه، در مدل -18ResNet با مجموعه داده -10CIFAR، SMIT با دستيابي به دقت ٪ 94.24
عملكردي تقريباً برابر با حالت 32FP( ٪ 95.34 )ارائه مي دهد ، اين تفاوت تنها حدود ٪ 1.1 افت دقت را نشان
مي دهد . براي وظايف پيچيده تري همچون تشخيص اشياء و بخشبندي معنايي نيز SMIT تنها 1.5٪ پايين تر
از عملكرد 32FP باقي مي ماند . در تضاد با روش هاي زير 8 بيت پيشين كه معموالً در دقت 5 بيت با افت
شديد مواجه شده و در دقت 4 بيت كامالً واگرا مي شوند . SMIT با طراحي ايستا و سختافزارپسند، دقتي
نزديك به حالت تمام دقت ارائه مي دهد
تاريخ ورود اطلاعات
1404/10/15
عنوان به انگليسي
A Static Mixed-Integer Approach for Enhancing Performance in Deep Neural Networks
تاريخ بهره برداري
10/8/2026 12:00:00 AM
دانشجوي وارد كننده اطلاعات
انوش مه جبين
چكيده به لاتين
Deep neural networks (DNNs) have achieved remarkable success in computer vision
and autonomous systems, yet their growing scale leads to substantial computational
and energy costs, especially during training. Quantization provides a promising path
to efficiency, but existing sub-8-bit training methods often suffer from instability and
significant accuracy loss, limiting their practicality. In this work, we present Static
Mixed-Integer Training (SMIT), a simple yet effective framework for end-to-end
DNN training with fixed heterogeneous bit-widths for weights, activations, and
gradients. Through extensive sensitivity analysis, we identify an optimal
configuration, W4/A6/E8 (4-bit weights, 6-bit activations, 8-bit gradients), that
achieves a balance between computational efficiency and training stability. Unlike
dynamic or architecture-dependent schemes, SMIT relies on a static allocation that
requires no per-layer adjustments or architectural modifications. Experiments across
classification, detection, and segmentation tasks confirm the effectiveness of SMIT.
On ResNet-18 with CIFAR-10, SMIT achieves 94.24% accuracy compared to 95.34%
in FP32, a drop of only ~1.1%. For more complex tasks such as object detection and
semantic segmentation, SMIT remains within 1.5% of FP32 performance. In contrast
to prior sub-8-bit methods which typically degrade severely at 5-bit precision and
diverge entirely at 4-bit SMIT delivers near full-precision accuracy with a static,
hardware-friendly design.
كليدواژه هاي فارسي
دقت تركيبي , شبكه عصبي عميق , چندي سازي , دقت بيتي ثابت
كليدواژه هاي لاتين
Mixed Precision , Deep Neural Network , Quantization , Static Mixed Precision
Author
Anoosh Mahjabin
SuperVisor
Hakem beitollahi - pejman lotfi kamran