10154

شبكه فشرده‌سازي پراكنده

كارشناسي

علوم كامپيوتر

1404

اردشير لاريجاني

اردشير لاريجاني

1404/09/15

رياضي و علوم كامپيوتر

sparse compression network

در سال‌هاي اخير، شبكه‌هاي عصبي عميق با افزايش تعداد پارامترها و پيچيدگي‌هاي محاسباتي مواجه شده‌اند كه اين امر منجر به مشكلاتي همچون مصرف انرژي بالا و محدوديت در استقرار مدل‌ها بر روي دستگاه‌هاي كم‌منابع مي‌شود. يكي از راهكارهاي مؤثر براي حل اين چالش‌ها، فشرده‌سازي مدل‌ها از طريق تنك‌سازي (sparsity) و روش‌هاي مختلف فشرده‌سازي نظير هرس وزن‌ها، كوانتيزاسيون و تقطير دانش است. اين مقاله به بررسي روش‌هاي فشرده‌سازي شبكه‌هاي عصبي و چگونگي كاربرد آنها در بهينه‌سازي مدل‌ها پرداخته است. به‌ويژه، به معرفي و تحليل شبكه فشرده‌سازي تنك (SCN) پرداخته و نحوه تركيب اين روش‌ها با تكنيك‌هاي يادگيري تنك را بررسي مي‌كند. SCN با استفاده از فشرده‌سازي تطبيقي در بخش‌هاي مختلف ويژگي‌ها، ضمن كاهش پيچيدگي محاسباتي، عملكرد مدل را حفظ مي‌كند. اين رويكرد به ويژه در زمينه‌هايي همچون جداسازي منابع صوتي و پردازش سيگنال كاربرد دارد و توانسته است بهبود قابل توجهي در كارايي و كاهش مصرف منابع ارائه دهد. در نهايت، مزايا و محدوديت‌هاي SCN و كاربردهاي آن در زمينه‌هاي مختلف مانند بينايي ماشين و پردازش زبان طبيعي مورد بررسي قرار مي‌گيرد.

Sparse Compression Network (SCN) , Model Compression , Sparsity , Pruning , Quantization , Knowledge Distillation , Low-Rank Approximation , Sparse Learning , Structured Pruning , Unstructured Pruning , Neural Network Compression , Music Source Separation , SCNet , Sub-band Compression , Sparse Encoding , Bandwise Processing