15386

يادگيري با نمونه هاي اندك در مدلهاي بنيادين: بررسي رويكردهاي نوين در مدلهاي بينايي-زبان

1403

دكتر آرش عبدي هجراندوست و دكتر محمدرضا محمدي

پيشرفت هاي اخير در مدل هاي بنيادين بينايي–زبان، مانند ،ⅭⅬIPكه بر پايەي دادەهاي عظيم تصوير و متن آموزش ديدەاند، تحولͬ چشمͽير در حوزەي بينايي ماشين ايجاد كرده است. اين مدل ها با هدف يادگيري تقابل،ͬ بازنمايي هاي مشتركͬ از تصوير و زبان را مͬ آموزند كه قابليت انتقال دانش صفر–نمونەاي را فراهم مͬ سازد. با وجود اين موفقيت ها، تطبيق مدل هاي بنيادين با وظايف پايين دستͬ در شرايط دادەي محدود همچنان ي ͬͺاز چالش هاي اساسͬ به شمار مͬ رود؛ زيرا تنظيم كامل پارامترهاي اين مدل هاي عظيم، علاوه بر هزينەي محاسباتͬ بالا، خطر بيش برازش و كاهش مقاومت مدل در برابر تغيير توزيع داده را نيز در پي دارد. براي غلبه بر اين چالش ها، رويͺردي نو با عنوان تطبيق كارآمد پارامتري مطرح شده است كه در آن تنها بخش كوچ ͬͺاز پارامترهاي مدل بەروزرسانͬ مͬ شوند. از جمله مهم ترين روش هاي اين حوزه مͬ توان به تنظيم دستور اشاره كرد كه با افزودن دستور هاي قابل يادگيري به ورودي متنͬ يا تصويري، بدون نياز به تغيير در پارامترهاي اصلͬ مدل، امͺان سازگاري با وظايف جديد را فراهم مͬ كند. وفق دهنده ها نيز بەعنوان ماژول هاي سب ͷوزن در لايەهاي ميانͬ شبͺه قرار مͬ گيرند تا ويژگͬ هاي خاص هر وظيفه را بياموزند. علاوه بر اين، بهرەگيري از دانش خارجͬ يا دادەهاي كم ͬͺبراي غنͬ سازي بازنمايي ها در سناريوهاي دادەكم، و همچنين روش هاي تغيير ساختار و پارامتر، كه با ايجاد تغييراتͬ در مدل موجب افزايش مقاومت آن در برابر تغيير توزيع مͬ شوند، از مسيرهاي فعال پژوهشͬ در اين زمينه بەشمار مͬ آيند. رشد اين رويͺردها نشان مͬ دهد كه تطبيق كارآمد پارامتري مͬ تواند راهͺاري مؤثر براي سازگار كردن مدل هاي بنيادين بينايي–زبان با شرايط يادگيري با نمونەهاي اندك باشد و مسير آيندەي پژوهش در اين حوزه را ترسيم كند. واژگان كليدي: يادگيري با نمونەهاي اندك، مدل هاي بنيادين، مدل هاي بينايي–زبان، ،ⅭⅬIP تطبيق كارآمد پارامتري، تنظيم اعلان، وفق دهنده، انتقال دانش صفر–نمونەاي

11/5/2025 12:00:00 AM

88480

1404/08/26

Few-Shot Learning in Foundation Models:Review of Recent Approaches in Vision-Language Models