ايسا مياهي نيا

pro‎mp‎t Learning For Few-shot Classification

يادگيري با تعداد نمونه محدود، به عنوان يك رويكرد موثر در دسته‌بندي تصاوير، با چالش‌هاي زيادي مواجه است. نياز به تشخيص ويژگي‌هاي ظريف در داده‌هاي آموزشي كم‌حجم يكي از اين چالش‌ها مي‌باشد. در اين پايان‌نامه، ما روشي جديد براي بهينه‌سازي رهنمودها ارائه مي‌دهيم كه نسبت به روش‌هاي CoOp و CLIP بهبودهايي دارد. در روش CoOp، اين امكان وجود دارد كه براي هر دسته، رهنمودي اختصاصي آموزش داده شود. اما در اين پژوهش، رويكرد متفاوتي اتخاذ شده است. تلاش ما بر اين بوده است كه برخي از كلمات بين دسته‌ها به اشتراك گذاشته شوند، در حالي كه كلمات اختصاصي، بر اساس ويژگي‌هاي خاص هر كلاس، با دانش قبلي و تحليل بصري جهت‌دهي شوند. اين استراتژي، با تركيب هوشمندانه رهنمودهاي عمومي و اختصاصي، انعطاف‌پذيري مدل را افزايش داده و موجب بهبود دقت دسته‌بندي، به‌ويژه در شرايط داده‌هاي محدود مي‌شود. آزمايش‌ها بر روي مجموعه‍ داده‌هاي Oxford Flowers و Oxford Pets نشان مي‌دهند كه استفاده از رهنمودهاي بهينه‌شده منجر به بهبود چشمگير در دقت دسته‌بندي تصاوير شده است. به عنوان مثال، در مجموعه داده Oxford Flowers و بررسي ويژگي بافت، دقت مدل تا 1.19 درصد بهبود يافت و در مجموعه داده Oxford Pets و بررسي ويژگي‌ بافت پوششي نيز 4.9 درصد بهبود حاصل شد. اين نتايج نشان مي‌دهند كه تنظيم مناسب رهنمودها مي‌تواند به طرز قابل توجهي عملكرد مدل‌ها را در شرايط داده‌هاي محدود بهبود بخشد.

يادگيري با تعداد نمونه محدود، يادگيري با تعداد نمونه بسيار محدود، دسته‌بندي تصاوير، رهنمود، تنظيم رهنمود، CLIP ، CoOp