27672

تكميل ماتريس مبتني بر يادگيري عميق با استفاده از خودرمزنگار تنك

كارشناسي ارشد

مهندسي برق- مخابرات ـ سيستم

1397

1401/8/11

فرزان حدادي

مهندسي برق

حل كردن مساله ي تكميل ماتريس به عنوان يكي از موضوعات كاربردي در حوزه ي پردازش سيگنال همواره مورد تحقيق بوده است. در ساليان اخير هوش مصنوعي و به صورت خاص شبكه هاي عصبي عميق توانسته است در حل بسياري از مسائل دنياي واقعي، مثل بينايي ماشين، پردازش زبان طبيعي و ... بخوبي كار كند. ايده ي اين پايان نامه استفاده از شبكه ي عصبي براي حل مساله ي تكميل ماتريس است. باتوجه به اين كه تعداد درايه هاي خالي يك ماتريس در مساله ي تكميل ماتريس به نسبت كل درايه ها، عدد بزرگي است، پس ماتريسي كه بايد آن را تكميل كنيم تنك است. از طرفي ديگر كم بودن تعداد داده ها براي آموزش شبكه ي عصبي عميق باعث مي شود كه شبكه قدرت تعميم پذيري نداشته باشد و به اصطلاح بيش برازش كند. راه حل ما براي كنترل بيش برازش استفاده از عبارت هاي تنظيم ناهموار نورم l1 لايه هاي خروجي شبكه ي عصبي و تابع رتبه روي همه ي ماتريس هاي وزن بين لايه هاي مختلف شبكه، در كنار تابع اتلاف اصلي شبكه است. به دليل ناهموار بودن اين عبارت ها، استفاده از روش هاي بهينه سازي مرسوم مثل SGD، ADAM و ...امكان پذير نيست. استفاده از الگوريتم هاي مبدائي همان راه حلي است كه اثر ناهموار بودن تابع اتلاف را با يك اپراتور، تقريب مي زند. به دليل نامحدب بودن تابع اتلاف شبكه، اثبات همگرايي اين الگوريتم به نقاط بحراني، تحت شرايطي برقرار است. در الگوريتم ارائه شده ي DL-NLMC با محدود كردن پارامترهاي شبكه به اين مهم دست يافته ايم و اثبات همگرايي را انجام داده ايم. اثبات انجام شده براي هر شبكه ي عصبي عميق جلورو با هر تعداد ترم تنظي مكننده ي ناهموار صادق است. الگوريتم ارائه شده را روي سه نوع داده ي ماتريسي، ماتريس ساختگي، تصوير و مجموعه داده ي موي لنز آزمايش كرده ايم. نتايج به دست آمده چنين است: براي ماتريس ساختگي از دو معيار MSE و PSNR براي نرخ هاي از دست رفتگي متفاوت درايه ها استفاده كرده ايم و نتايج را با 5 الگوريتم ديگر مقايسه كرده ايم. براي نرخ از دست رفتگي 80% بيش ترين بهبود حاصل شده با معيار PSNR برابر 4/2 دي بي است كه مقدار قابل توجهي است. ميزان بهبود با معيار MSE برابر 4٫3377 بوده است. دو تصوير هم با نرخ هاي از دست رفتگي پيكسل 30%، 40% و 50% را در نظر گرفته ايم و با اعمال الگوريتم ارائه شده، نتايج حاصل شده را با دو معيار PSNR و SSIM سنجيده ايم. ميزان بهبود معيار اول براي تصوير اول 1/1068 دي بي و براي تصوير دوم 0٫9153 دي بي است. اين اعداد براي نرخ از دست رفتگي 50% گزارش شده است. اما معيار دوم براي تصوير اول تغيير 0/0179 را تجربه كرده و براي تصوير دوم 0/0081. اما براي داده ي ماتريسي سوم، سيستم هاي توصيه گر، و براي دو مجموعه داده ي موي لنز 100k و موي لنز 1M الگوريتم را اعمال كرده ايم. ميزان بهبود الگوريتم روي مجموعه داده ي اول و دوم و براي نرخ از دست رفتگي 30%، با معيار NMAE به ترتيب 9/8% و 1.18% و براي نرخ از دست رفتگي 50% برابر با 5.8% و 3.49% بوده است.

1401/10/17

Deep Learning based Matrix Completion using Sparse AutoEncoder

11/2/2023 12:00:00 AM

Solving the matrix completion problem has always been researched as one of the practical issues in the field of signal processing. In recent years artificial neural networks in particular have been able to work well in solving many real-world problems such as computer vision, natural language processing, etc. The idea of this thesis is to use neural network to solve the matrix completion problem. Considering that the number of missing entries of a matrix in the problem of matrix completion is a large number compared to the total number of entries, then the matrix that we have to complete is sparse. On the other hand, the small amount of data for deep neural network training causes the network to lack generalization power and overfit. Our solution to control overfitting is to use the terms of the l1-norm of the output layers of the neural network and nuclear norm on all the weight matrices between the different layers of the network in addition to the main loss function of the network. Due to the non-smoothness of these terms, it is not possible to use conventional optimization methods such as SGD, ADAM, etc. The use of proximal algorithms is the same solution that approximates the effect of the non-smooth of the loss function with an operator. Due to the non-convexity of the network loss, the convergence of this algorithm to the critical points is proved under certain conditions. In the proposed DL-NLMC algorithm, we have achived this by limiting the network parameters and we have done the convergence proof. The proof is valid for any feed forward neural network with any number of non-smooth regularization terms. We have tested the presented algorithm on three types of matrix data, synthesis matrix, image and MovieLens dataset. The results are as follows: For the synthesis matrix, we have used PSNR and MSE criteria for different missing rates of entries and compared the results with 5 other algorithms. For the missing rate of 80%, the maximum improvement achieved with the PSNR criterion is 4.2 dB, which is a significant amount. The improvement rate with the MSE criterion was equal to 4:3377. We have considered two images with pixel missing rates of 30%, 40% and 50% and by applying the presented algorithm, we have measured the obtained results with PSNR and SSIM criteria. The improvement rate of the first criterion is 1.1068 dB for the first image and 0.9153 dB for the second image. These numbers are reported for a 50% missing rate. But the second criterion experienced a change of 0.0179 for the first image and 0.0081 for the second image. But for the data of the third matrix, recommender systems, and for two datasets of MovieLens 100k and MovieLens 1M, we have applied the algorithm. The improvement rate of the algorithm on the first and second datasets and for the missing rate of 30%, with the NMAE criterion is 9:8% and 1:18%, respectively, and for the missing rate of 50% equal to 5:8% and 3:49%.

تكميل ماتريس , عبارت هاي ناهموار , شبكه هاي خودرمزنگار

matrix completion , Non-smooth terms , Autoencoder Networks

Sajad Faramarzi

Dr. Haddadi