17077

بررسي تقطير دانش مدل‌هاي بنيادي در بينايي كامپيوتر

1402

دكتر محمدرضا محمدي

در سال‌هاي اخير، شبكه‌هاي عصبي عميق و به‌ويژه مدل‌هاي بنيادي در حل مسائل مختلف بينايي ماشين موفقيت‌هاي چشمگيري داشته‌اند. بااين‌حال استقرار اين مدل‌هاي غول‌آسا بر روي دستگاه‌هاي با منابع محدود مانند تلفن‌هاي همراه و دستگاه‌هاي توكار ما را با چالش‌هايي جدي روبرو مي‌كند. علاوه بر پيچيدگي‌هاي محاسباتي، مصرف بالاي حافظه نيز از ديگر عوامل مهمي است كه استقرار اين مدل‌ها را با مشكل روبرو مي‌سازد. به اين منظور روش‌هاي مختلفي براي فشرده‌سازي و تسريع عملكرد مدل‌ها توسعه‌يافته‌اند. به‌عنوان يك نماينده از اين روش‌ها مي‌توان از تقطير دانش نام برد. در اين روش يك مدل كوچك به‌گونه‌اي آموزش مي‌بيند كه بتواند رفتار يك مدل بزرگ پيش آموخته را تقليد كند. به اين مدل‌هاي كوچك و بزرگ به ترتيب دانش‌آموز و آموزگار مي‌گوييم. تقطير دانش به ما اين امكان را مي‌دهد كه بدون افت دقت چشمگير پيچيدگي را كاهش دهيم و دانش مدل‌هاي بزرگ بنيادي را به مدل‌هاي سبك منتقل كنيم. . در اين گزارش ابتدا به روش‌ها و شماهاي مختلف تقطير ميپردازيم و در ادامه به صورت خاص تقطير مدل‌هاي بنيادي را بررسي ميكنيم. در اين بررسي به چالشهاي اينكار مثل حجم حافظه بالا و راه‌حل‌هايي براي آن‌ها نگاهي مي‌اندازيم و در انتها پژوهش‌هاي صورت گرفته را از منظر كاربرد به تقطير وظيفه‌محور، مستقل از محور دسته‌بندي ميكنيم. در فصل پاياني به مباحث باز اين حوزه مانند شناسايي ضعف‌هاي مدل آموزگار و استفاده از آموزش تخاصمي در تقطير وظيفه‌محور اشاره ميكنيم.

5/21/2025 12:00:00 AM

90451

1405/02/26

Investigation of knowledge distillation of foundation models in computer vision

تقطير دانش , فشرده‌سازي مدل , مدل‌هاي بنيادي , يادگيري عميق بهينه , بينايي ماشين

Knowledge Distillation , Model Compression , Foundation Models , Efficient Deep Learning , Computer Vision