33121

‫به‬‫ي‬‫نه‌‬‫ساز‬‫ي ‬‫خودكار‬ ‫ابرپارامترها‬ي ‫انطباق‬ ‫دامنه‬ ‫بدون‬ نظارت ‬‫برا‬‫ي ‬‫بازشناس‬ي ‬‫افراد‬ ‫در‬ ‫آموزش‬ ‫ميانگين‬ ‫متقابل‬

كارشناسي ارشد

مهندسي كامپيوتر - هوش مصنوعي و رباتيكز

1400

1403/11/28

دكتر محمدرضا محمدي

ندارد

مهندسي كامپيوتر

پژوهشگران همواره به دنبال بهبود فرايندهاي انطباق دامنه در بازشناسي افراد هستند. بدين منظور، روش‌هاي مختلفي براي رفع چالش‌هايي مانند تغييرات نور و زاويه نصب دوربين پيشنهاد شده‌اند. يكي از اين روش‌ها، انطباق دامنه بدون نظارت (Unsupervised Domain Adaptation - UDA)، شامل دو رويكرد اصلي ايجاد شبه‌برچسب‌ها (Pseudo-labeling) براي دامنه هدف و تغيير سبك دامنه مبدأ مي‌باشد. رويكرد نخست، به دليل دقت و سرعت بالاتر، توسعه بيشتري يافته است. يكي از اين روش‌ها، آموزش ميانگين متقابل (Mean-Mean Teaching)، از يك ساختار دو مدلي براي بهينه‌سازي برچسب‌هاي سخت توليدشده توسط خوشه‌بندهايي مانند K-Means استفاده مي‌كند. با توسعه مدل‌هاي برخط، چالش‌هايي همچون انحراف دامنه (Domain Shift) و محدوديت‌هاي برش‌هاي زماني به اين روش افزوده شده‌اند. در اين پژوهش، يك بهينه‌ساز خودكار براي آموزش ميانگين متقابل معرفي شده است كه با استفاده از بهينه‌سازي بيزي مبتني بر تخمين‌گر درخت پارزن (Tree-structured Parzen Estimator)، ميانگين صحت اعتبارسنجي را در هر چرخه آموزش بهبود مي‌بخشد. اين روش، در مقايسه با جستجوي تصادفي، جستجوي مشبك (Grid Search)، الگوريتم‌هاي تكاملي و ژنتيكي، و حتي خط پايه (Baseline)، در زمان كوتاه‌تري به نتايج مطلوب مي‌رسد. نتايج نشان مي‌دهند كه بهينه‌سازي تدريجي اين مدل، زمان لازم براي تنظيم دو ابرپارامتر گسسته (معماري مدل و تعداد خوشه‌ها) و دو ابرپارامتر پيوسته (وزن ضرر آنتروپي متقاطع نرم (Soft Cross-Entropy Loss) و وزن ضرر سه‌گانه نرم (Soft Triplet Loss)) را به حدود يك‌چهارم زمان موردنياز براي جستجوي تصادفي كاهش مي‌دهد. علاوه بر اين، زمان اجراي روش پيشنهادي نسبت به جستجوي مشبك از 45 GPU/ساعت به 8 GPU/ساعت كاهش يافته است. همچنين، در انتقال دامنه از Duke به Market، مقدار mAP حدود 2 درصد افزايش يافته است.

1403/12/13

Automated Hyperparameters Optimization of Unsupervised Domain Adaptation Mutual-Mean Teaching in Person Re-Identification

1/1/1900 12:00:00 AM

Researchers are constantly seeking to improve domain adaptation processes in person re-identification. To address challenges such as variations in lighting and camera angle placement, various methods have been proposed. One such method, Unsupervised Domain Adaptation (UDA), consists of two main approaches: generating pseudo-labels for the target domain and style transfer for the source domain. The first approach has seen greater development due to its higher accuracy and speed. One such method, Mean-Mean Teaching (MMT), utilizes a dual-model structure to optimize hard labels generated by clustering algorithms such as K-Means. With the development of online models, challenges such as domain shift and time window limitations have been introduced to this approach. In this study, an automated optimizer for Mean-Mean Teaching is introduced, which leverages Bayesian optimization using a Tree-structured Parzen Estimator to improve the validation accuracy in each training cycle. Compared to random search, grid search, evolutionary and genetic algorithms, and even the baseline, this method achieves desirable results in a shorter time. The results show that the gradual optimization of this model reduces the time required to tune two discrete hyperparameters (model architecture and number of clusters) and two continuous hyperparameters (soft cross-entropy loss weight and soft triplet loss weight) to approximately one-fourth of the time required for random search. Furthermore, the execution time of the proposed method is reduced from 45 GPU/hours to 8 GPU/hours compared to grid search. Additionally, in domain adaptation from Duke to Market, the mean Average Precision (mAP) increased by approximately 2 percent.

بهينه‌سازي خودكار , ابرپارامتر , انطباق دامنه بدون نظارت , بازشناسي افراد , آموزش ميانگين متقابل

Automated Optimization , Hyperparameter , Unsupervised Domain Adaptation , Person Re-Identification , Mutual Mean Teaching

Arian Talekoo

Dr. Mohammadreza Mohammadi