26321

پياده‌سازي حافظه كاري به كمك شبكه‌ي عصبي و حافظه خارجي و پويا

كارشناسي ارشد

مهندسي كامپيوتر گرايش هوش مصنوعي

1397

1400/08/03

دكتر محمدرضا جاهد مطلق

كامپيوتر

ازجمله مشكلات كنوني ساختار‌هاي هوش مصنوعي، تك منظوره بودن آنهاست. در شبكه‌هاي عصبي تلاش‌هايي براي افزودن حافظه به منظور حل مشكلات يادگيري، در برخي مسائل انجام شده است. اين‌ تلاش‌ها به دو گونه بسيار جامع حافظه‌هاي داخلي و خارجي تقسيم مي‌شوند. طبق نتايج به دست آماده، كنترل حافظه‌هاي داخلي، با وجود اينكه شبيه حافظه انسان هستند، سخت تر بوده و با پيچيدگي‌هاي به وجود آمده، به يادگيري آنها آسيب مي‌رساند. به عنوان يكي از راه حل‌ها، مي‌توان قابليت‌هاي شبكه‌هاي عصبي را با اتصال به منابع حافظه‌ي خارجي، افزايش داد. اين سيستم تركيبي مشابه با ماشين تورينگ يا مدل وان‌ نيومن دارد، اما به صورت انتها ‌به ‌انتها، قابل آموزش بوده و اجازه مي‌دهد كه به صورت كارآمدي با نزول شيب دار، آموزش داده شود. اين راه حل از اين بابت قابل توجه است كه مي‌تواند از آموخته‌هاي پيشين خود بهره بهتري ببرد. همچنين نشان داده شده است كه سرعت يادگيري نسبت به ساير مدل‌ها سريع‌تر بوده و نياز به تعداد نمونه‌هاي كمتري دارد. مشكل اين مدل افزايش پيچيدگي جهت استفاده از حافظه است. روند آموزش به اين شبكه‌ها، گاها نياز به تلاش بيشتر و حتي تكرار چند باره آموزش دارد. تلاش‌هاي امروزي بر اين است كه با يك ساختار حافظه نسبتاً ساده، مسائلي كه نياز به يادگيري ترتيب يا جامعيت بخشيدن دارد را سريع‌تر و با دقت بيشتر حل نمود. با الهام از ساختار مغز انسان يا حتي كامپيوتر‌هاي امروزي، از چندين نوع حافظه‌ي ساده‌، كه در ‌هارموني با يكديگر هستند، مي‌توان چنين شبكه‌اي را تشكيل داد. پس فعاليت‌هاي آينده در راستاي بهبود و تكميل كردن اين مدل‌هاي مبتني بر حافظه هستند. يكي از نكاتي كه هنوز از توجه كافي در پژوهش‌ها برخوردار نيست، ساختار‌هاي ميكروسرويس در اين خصوص است. در اين پژوهش قابليت اين سيستم براي زمانيكه چندين شبكه در‌هارموني با يكديگر هستند، مورد بررسي قرار گرفته است.

1401/01/21

Implementing working memory with dynamic memory neural network

10/25/2022 12:00:00 AM

One of the current problems with artificial intelligence structures is that they are single-purpose. In neural networks, in some areas, attempts have been made to add memory to solve learning problems. These efforts are divided into two very comprehensive types of internal and external memory. According to the obtained results, controlling internal memories, although similar to human memory, is more difficult and impairs their learning due to the complexities created. As a solution, neural network capabilities can be enhanced by connecting to external memory sources. This system has the same combination as the Turing machine or the Newman van model, but can be trained end-to-end and allows it to be trained efficiently with gradient descents. This solution is remarkable in that it can make better use of what has already been learned. It has also been shown that learning speeds are faster than other models and require fewer examples. The problem with this model is that it increases the complexity of memory usage. The process of training these networks sometimes requires more effort and even repetition of training several times. Today's efforts are aimed at solving problems that need to be learned to be organized or comprehensive more quickly and accurately with a relatively simple memory structure. Inspired by the structure of the human brain or even modern computers, such a network can be formed from several types of simple memory, which are in harmony with each other. So future activities are aimed at improving and complementing these memory-based models. One of the points that still does not receive enough attention in research is microservice structures in this regard. In this research, the capability of this system for when several networks are in harmony with each other has been investigated.

حافظه كاري , شبكه عصبي , ماشين عصبي تورينگ

working memory , neural network , turing neural machine

Seyed Hamid Reza Jazayeri

Prof. Mohammad Reza Jahed Motlagh