27108

يادگيري تركيب ‌كرنل ‌خطي چندگانه تنك با محدوديت نورم صفر روي ضرايب تركيب كرنل‌ها

كارشناسي ارشد

مهندسي برق- مخابرات سيستم

1397

15/1/1401

دكتر ابوالفضل فلاحتي

دكتر شاهرخ فرهمند

مخابرات سيستم

عملكرد ماشين‌بردار‌پشتيبان براي طبقه‌بندي در فضاي غيرقابل‌جداسازي به‌صورت خطي، عمدتا برانتخاب تابع كرنل متكي است. درنتيجه، يادگيري‌كرنل‌چندگانه براي مقابله با مشكل انتخاب كرنل و تنظيم پارامترهاي آن مورداستفاده‌ قرارگرفته‌است. تركيب كرنل‌هاي چندگانه با چالش‌هاي بهينه‌سازي وزن‌هاي كرنل‌هاي پايه و پيچيدگي و بار محاسباتي بالا روبروست. اين چالش‌ها هنگامي‌كه تعداد كرنل‌هاي پايه زياد است مي‌تواند پيچيدگي را بسيار افزايش‌داده و يا حتي الگوريتم‌هاي موجود را غيرقابل‌استفاده كند. براي حل اين مشكل، استفاده از تكنيك‌هاي تنك‌سازي مي‌تواند بسيار موثر باشد. در اين پايان‌نامه، يك روش طبقه‌بندي ماشين‌بردار‌پشتيبان با اعمال محدوديت نورم-صفر معرفي‌شده‌است كه به تشكيل يك مسئله NP-hard مي‌انجامد كه براي حل آن از يك مسئله بهينه‌سازي غيرمحدب براي بهينه‌سازي استفاده‌شده‌است. همگرايي الگوريتم پيشنهادي، هم به‌صورت نظري و هم در شبيه‌سازي اثبات‌شده‌است. نتايج شبيه‌سازي برروي سه مجموعه داده نشان‌داده‌است كه با استفاده از الگوريتم پيشنهادي، عملكرد طبقه‌بندي به‌طورقابل‌توجهي نسبت‌به روش بهينه غيرتنك بهبوديافته‌است. هم‌چنين، هرچند زمان آموزش درحدود 2 الي 4 برابر افزايش‌يافته‌است، زمان تست درحدود 2 الي 4 برابر كاهش‌يافته‌است كه منجربه كاهش قابل توجه بار محاسباتي براي طبقه‌بندي‌هاي داده‌هاي جديد خواهدشد.

1401/07/16

Sparse multiple kernel learning with ℓ-0 norm constraint on the kernel combination weights

4/19/2024 12:00:00 AM

Performance of Support Vector Machines, for classification in nonlinearly-separable spaces, highly depends on the choice of the kernel function. Hence, Multiple Kernel Learning has been widely used in the literature to tackle the problem of kernel selection and tuning its hyperparameters in a systematic fashion. Combination of multiple kernels gives rise to the challenges of optimizing the kernel weights and increased computational complexity for both training and test stages of the algorithm. These challenges are exacerbated when a large number of kernel functions are used, which results in high computational complexity and the existing algorithms cannot cope with it. To tackle this problem, adding sparsity constraint could be a promising direction. In this thesis, a classification method with ℓ-0 norm constraint is proposed. The resulting problem is NP-hard. A nonconvex optimization technique is used to solve the problem. The convergence of the proposed algorithm is investigated both theoretically and by experiment. Experimental results on three benchmark datasets show that by using the proposed method the classification performance is improved significantly in comparison to the non-sparse optimal solution. Moreover; while training time is increased by 2-4 times as much the non-sparse optimal solution, the test time is reduced by 2-4 times, which could significantly improve computational efficiency for testing new data.

ماشين‌بردارپشتيبان , يادگيري‌كرنل‌خطي‌ , تنكي نورم-صفر

Support Vector Machine , Kernel Learning , ℓ-0 norm

mahsima shafiee

doctor abolfazl falahati, doctor shahrokh farahmand