30615

يادگيري مستمر با استفاده از تقطير دانش با تكيه بر اهميت ويژگي

كارشناسي ارشد

هوش مصنوعي

1399

1402/07/15

دكتر محمدرضا محمدي

مهندسي كامپيوتر

هدف هوش مصنوعي توانمند سازي عامل‌هاي هوشمند براي انجام امور به صورت خود‌مختار مانند انسان است. يكي از عامل‌هاي زير بنايي توانمند سازي عامل‌هاي هوشمند، يادگيري مادام‌العمر آن‌ها بدون فراموشي دانش قبلي است. در حوزه بينايي از نظر بيولوژيكي نيز، سيستم بينايي انسان به طور طبيعي افزايشي است؛ يعني انسان به طور مداوم اطلاعات بصري كلاس‌هاي جديد را درك مي‌كند، در حالي كه دانش غني را كه قبلاً آموخته بود فراموش نمي‌كند. اما اين موضوع براي عامل‌هاي هوشمند با چالشي به نام فراموشي فاجعه‌بار همراه است، كه در پي يادگيري دانش جديد، دانش قبلي يادگرفته‌شده را از ياد مي‌برد. مشابه با دنياي واقعي كه موارد از قبل آموخته شده، دوباره براي آموزش به عنوان داده‌هاي آموزشي در اختيار انسان قرار نمي‌گيرند، براي عامل‌هاي هوشمند نيز داده‌هاي قديمي آموزشي ممكن است غيرقابل دسترسي باشند زيرا ممكن است از بين رفته يا خراب شده باشند، يا شايد بسيار بزرگ باشند و مسئله ذخيره سازي مطرح گردد، يا ممكن است مشكلات صدور مجوز يا توزيع وجود داشته باشد. ما در اين پايان‌نامه هدف را بر حفظ دانش وظايف گذشته قرار داديم. روش ما در استخراج اهميت ويژگي وظايف گذشته و اعمال آن در يادگيري وظيفه جديد در كنار يك تنظيم‌كننده براي عدم تغيير ويژگي‌هاي پراهميت وظايف گذشته خلاصه مي‌شود. با آن كه تركيب اين روش با روش‌هاي پايه از جمله بازپخش داده و تقطير خروجي، حدود 20 درصد برتري ميانگين دقت افزايشي نسبت به فراموشي‌ فاجعه‌بار را به‌همراه داشت، اما با اين وجود نتوانست به دقت روش‌هاي برتر در مقالات روز منتشرشده دست يابد.

1402/12/21

Continual learning using knowledge distillation relying on the importance of features

1/1/1900 12:00:00 AM

The objective of artificial intelligence is to empower intelligent agents to perform tasks autonomously, similar to humans. One fundamental factor in enabling intelligent agents is lifelong learning without forgetting previous knowledge. In the field of vision, biologically speaking, the human visual system is inherently incremental. Humans continuously perceive and comprehend new visual classes while retaining the rich knowledge they have previously learned. However, this poses a challenge for intelligent agents known as catastrophic forgetting, where learning new knowledge causes previously learned knowledge to be forgotten. Similar to the real world, where previously learned cases are not made available to humans for retraining as training data, intelligent agents may also have limited access to old training data as it may have been lost, damaged, too large to store, or there may be issues with licensing and distribution. In this thesis, our goal is to preserve the knowledge of past tasks. Our approach involves extracting the importance of features from past tasks and applying it to learning new tasks, alongside an regularization to prevent the alteration of highly important features of past tasks. While combining this approach with baseline methods such as data replay and knowledge distillation yielded an average incremental accuracy of about 20 percent compared to catastrophic forgetting, it still did not achieve the accuracy of state-of-the-art methods published in recent papers.

يادگيري افزايشي , يادگيري مستمر , تقطير ‌دانش , فراموشي فاجعه‌بار

Incremental learning , Continual learning , Knowledge distillation , Catastrophic forgetting

Fatemeh Anvari

MohammadReza Mohammadi