9954

تقطير دانش از مدل هاي بزرگ بينايي به مدل هاي كوچك تر براي استفاده در وظيفه هاي خاص

كارشناسي

مهندسي كامپيوتر

1404

محمدرضا محمدي

محمدرضا محمدي

1404/08/09

كامپيوتر

Knowledge Distillation from Large-Scale Vision Modes to Lightweight models for Task-Specific Applications

مدل هاي بزرگ و پيچيده هوش مصنوعي در حوزه بينايي ماشين طي سال هاي اخير توانسته اند پيشرفت هاي چشمگيري را رقم بزنند اما استفاده مستقيم از آن ها به دليل حجم محاسباتي بالا و هزينه سخت افزاري و محدوديت هاي اجرايي همواره با چالش همراه است . يكي از رويكرد هاي مطرح براي غلبه به اين چالش انتقال دانش از مدل هاي سنگين به مدل سبك تر موسوم به تقطير دانش است . در اين پژوهش روشي نوين در همين راستا ارائه شده است كه علاوه بر كاهش پيچيدگي از ظرفيت داده هاي بدون برچسب نيز بهره برداري مي كند . در اين رويكرد از تركيب قابليت تشخيص و طبقه بندي مدل هاي پيشرفته براي توليد داده هاي برچسب خورده استفاده مي شود تا بتوان يك چارچوب آموزشي كارآمد براي مدل هاي سبك تر ايجاد كرد . نتايج حاصل نشان مي دهد كه نه تنها كيفيت مدل سبك را در سطحي رقابتي با مدل هاي مرجع نگه مي دارد بلكه هزينه و زمان آماده سازي داده را نيز به ميزان قابل توجهي كاهش مي دهد . بدين ترتيب پژوهش حاضر مي تواند زمينه ساز توسعه سيستم هاي بينايي ماشين مقياس پذير و كم هزينه و قابل استفاده در كاربرد هاي متنوع صنعتي و پزشكي و روزمره باشد .