16719

تقطير دانش در يادگيري عميق

1403

دكتر فرزان حدادي

شبكه‌هاي عصبي عميق طي سال‌هاي اخير پيشرفت‌هاي چشمگيري در حوزه‌هاي مختلف همچون بينايي ماشين و پردازش زبان طبيعي داشته‌اند و كاربردهاي متنوعي در صنعت و دانشگاه پيدا كرده‌اند. با اين حال، افزايش پيچيدگي و تعداد بسيار زياد پارامترها در مدل‌هاي مدرن به‌ويژه در مدل‌هاي پايه، مدل‌هاي زباني بزرگ و مدل‌هاي چندوجهي باعث ايجاد مشكلاتي جدي در زمينه‌ي استقرار آن‌ها روي دستگاه‌هاي لبه‌اي و محيط‌هاي محدود از نظر منابع شده است. براي رفع اين چالش، تقطير دانش ، به عنوان يكي از مهم‌ترين روش‌هاي فشرده‌سازي مدل‌ها مطرح شده است. در اين رويكرد، يك مدل بزرگ و پيچيده در نقش «معلم» به يك مدل سبك‌تر و سريع‌تر در نقش «دانش‌آموز» كمك مي‌كند تا دانش مورد نياز را بياموزد. اين فرآيند علاوه بر كاهش هزينه‌هاي محاسباتي، امكان استفاده از مدل‌هاي قدرتمند را در كاربردهاي واقعي با محدوديت سخت‌افزاري فراهم مي‌سازد

12/10/2025 12:00:00 AM

89327

1404/10/17

Knowledge distillation in deep learning

تقطير دانش

Knowledge distillation