سيده شكيبا اناركي فيروز

Improving Personalized pro‎mp‎t-Based Federated Learning with Diversification Mechanisms an‎d Dynamic Expert selec‎tion

يادگيري فدرال مبتني بر پرامپت، با تكيه بر مدل‌هاي بينايي-زباني از پيش‌آموزش‌ديده مانند كليپ، امكان سازگاري اين مدل‌ها با وظايف پايين‌دستي را بدون به‌روزرساني پارامترهاي اصلي فراهم مي‌كند. چارچوب pFedMoAP با استفاده از معماري تركيب متخصصان و اشتراك‌گذاري پرامپت‌هاي پيش‌تجميع‌شده ميان مشتري‌ها، رويكردي براي شخصي‌سازي در يادگيري فدرال ارائه مي‌دهد. با اين حال، در اين چارچوب، انتخاب متخصصان غيرمحلي براي هر مشتري صرفاً بر اساس شباهت و با استفاده از الگوريتم K نزديك‌ترين همسايه انجام مي‌شود. در اين پايان‌نامه، با هدف كاهش وابستگي انتخاب متخصصان به معيار شباهت، روشي مبتني بر حداكثر ارتباط حاشيه‌اي با وزن‌دهي عملكردي پيشنهاد شده است كه علاوه بر شباهت، عملكرد تاريخي متخصصان و ميزان تنوع مجموعه انتخاب‌شده را نيز لحاظ مي‌كند. ارزيابي تجربي اين روش بر روي مجموعه‌داده‌هاي CIFAR-10 ، CIFAR-100 و Office-Home انجام شده است. نتايج تجربي نشان مي‌دهد كه روش پيشنهادي، اگرچه تنوع در انتخاب متخصصان را افزايش مي‌دهد، اما به بهبود معنادار عملكرد نهايي نسبت به روش پايه منجر نمي‌شود. تحليل دقيق‌تر نتايج وجود پديده‌اي موسوم به «فروپاشي متخصصان» را آشكار مي‌كند كه در آن پرامپت‌هاي مشتري‌ها پس از چند دور آموزش به مقادير بسيار مشابهي همگرا مي‌شوند (شباهت بالاتر از 0.95). بررسي‌هاي تكميلي نشان مي‌دهد كه عامل اصلي اين پديده، كمبود نمونه‌هاي آموزشي در سطح كلاس براي مشتري‌هاي منفرد است، نه سازوكار انتخاب متخصصان. اين مشاهده نشان مي‌دهد كه بهبود عملكرد در چنين چارچوب‌هايي مستلزم تمركز بر راهكارهاي مرتبط با افزايش مؤثر داده و مقابله با كمبود نمونه در تنظيمات غيرهمگن است.

يادگيري فدرال شخصي‌سازي‌شده , يادگيري مبتني بر پرامپت , مدل‌هاي بينايي-زباني , تركيب متخصصان , كليپ , ناهمگني داده‌ها , فرﻭﭘﺎشي ﻣﺘﺨﺼﺼﺎﻥ , Personalized Federated Learning , pro‎mp‎t Learning , Vision-Language Models , Mixture of Experts , CLIP , Data Heterogeneity , Expert Collapse