31119

بهبود عملكرد شبكه‌هاي عصبي با رويكرد الحاق حافظه براي شناسايي، ذخيره و پردازش داده‌هاي نادر، ديده نشده يا سخت

كارشناسي ارشد

مهندسي كامپيوتر- هوش مصنوعي

1400

1403/4/4

محمدرضا جاهد مطلق

بهروز مينائي بيدگلي

مهندسي كامپيوتر

با وجود پيشرفت قابل ملاحظه شبكه‌هاي عصبي و مدل‌هاي هوشمند‌، همچنان اين مدل‌ها در حوزه‌ي دادگان با چالش‌هاي متعددي مواجه هستند. كه يكي از مهم‌ترين آن‌ها تعميم‌پذيري يادگيري اين شبكه‌ها براي داده‌هاي ديده نشده، نادر و با نتيجه‌گيري سخت و مديريت عدم قطعيت براي اين موارد مي‌باشد. رويكرد‌هاي مختلفي براي اين چالش ارائه شده‌اند كه مي‌توان به داده‌افزايي، يادگيري افزايشي، انتقال يادگيري و يادگيري متا و يادگيري تك شات و بسياري روش يادگيري ديگر اشاره كرد كه هر كدام مشكل‌ها و نقص‌هاي خاص خود را دارند. كه مهم‌ترين اين مشكل‌ها عدم امكان نتيجه‌گيري مناسب و ارائه‌ي خروجي مرتبط با نمونه‌هاي مربوط به داده‌هاي فوق مي‌باشد. در اين مهم، غالب روش‌هاي ارائه شده قادر به تشخيص درست داده‌هاي نادر يا ديده نشده بودند، اما نمي‌توانستند نتيجه‌گيري مناسبي براي آن‌ها ارائه دهند. در روشي كه در اين پژوهش توضيح مي‌دهيم، تلاش شده است كه با پيوست دادن يك حافظه و شناسايي و ذخيره داده‌هاي نادر و سخت در آن به همراه داده‌هاي مفيدي نظير خروجي آن‌ها، حين نتيجه‌گيري در مرحله‌ي ارزيابي، با انجام مقايسه شبيه‌ترين اين داده‌ها را از حافظه استخراج كنيم، و سپس آن‌ها را با خروجي شبكه‌هاي عصبي آزمايش شده پيوست داده و وارد لايه‌اي از شبكه‌هاي عصبي كنيم، كه بنابر اعتبار داده‌هاي موجود در حافظه حين تجربه‌هاي كسب شده در طي يادگيري و تنظيم پارامتر‌هاي اتصال‌هاي خروجي حافظه و شبكه عصبي به اين لايه، از آن‌ها كمك گيرد تا عدم قطعيت شبكه‌هاي عصبي را در صورت رويارويي با دادگان نادر يا سخت برطرف سازد. در اين پژوهش روي داده‌هاي عدد‌هاي دست‌نويس تركيبي آزمايش انجام شده است، تا بتوان داده‌هاي عدد‌هاي زبان‌هاي غير انگليسي را به عنوان داده‌هاي نادر يا سخت در نظر گرفت. در آزمايش‌هاي انجام شده مشاهده كرديم كه لايه‌ي آخر به خوبي مي‌تواند در صورت وجود داده‌هاي نادرست در حافظه تأثير آن‌ها را در تصميم‌گيري كم‌كند. و مشاهده كرديم كه رويكرد پيشنهادي با برخي تنظيم‌هاي خاص، بدون بيش برازش عملكردي تقريباً بي‌نقص خواهد داشت. و با مقايسه با برخي روش‌هاي شناخته شده نظير روش‌هاي آماري، مبدل‌هاي مبتني بر توجه، مدل‌هاي عميق، يادگيري تك شات و داده افزايي به نتيجه رسيديم كه مدل ارائه شده در اين پژوهش نسبت به تمام آن‌ها تا سه درصد برتري دارد.

1403/06/06

Improving Neural Network Performance Using Memory for the Identification, Storage, and Processing of Novel, Rare, or Hard to infer Data

1/1/1900 12:00:00 AM

Despite the considerable advancements in neural networks and intelligent models, these models still face multiple challenges in the domain of challenging datasets. One of the most important challenges is the generalization capability of these networks for novel, rare, and hard data Instances. Various approaches have been proposed to address this challenge, including data augmentation, incremental learning, transfer learning, and increasing the number of training stages, each with its own limitations and drawbacks. However, recent research has focused on leveraging memory, and some have successfully used it to overcome the limitations of previous methods and address these challenges. In this paper, we investigate this challenge, review previous solutions and the benefits of memory augmentation in neural networks. We then propose a novel architecture that can not only identify and store rare, novel, and hard data Instances in memory but also provide reasonable output predictions for them.

شبكه‌هاي عصبي , شبكه‌هاي عصبي با حافظه , داده‌هاي نادر , داده‌هاي ديده نشده , تعميم پذيري يادگيري , داده‌هاي با نتيجه‌گيري سخت , بهينه سازي شبكه‌هاي عصبي

neural networks , Memory Artificial Neural Networks , Novel Data , Unseen Data , Generalization , Hard to Infer Data , Optimization

Alireza Seddighfard

Dr. Mohammad Reza Jahed Motlagh