23052

پردازش معنايي متن با استفاده از بازنمايي‌هاي تنك

كارشناسي ارشد

نرم‌افزار

1396-1399

1399/08/28

دكتر بهروز مينايي

دكتر محمدطاهر پيله‌ور

كامپيوتر

در دو دهه اخير، افزايش سرعت پردازش كامپيوتر‌ها و حجم داده‌هاي در دسترس، به تدريج محققان هوش مصنوعي و علم داده را به سمت استفاده از سيستم‌هاي اتصال‌گرا و به طور خاص شبكه‌هاي عصبي، به جاي منطق مهندسي شده سيستم‌هاي قديمي‌تر سوق داده است. در اين ميان شبكه‌هاي عصبي موفقيت خود را بيش از هر چيز، مديون فن بهينه‌سازي بر اساس مشتق، با استفاده از الگوريتم انتشار عقبگرد بوده‌اند. با وجود موفقيت‌هاي بسياري كه بهينه‌سازي بر اساس مشتق براي شبكه‌هاي عصبي به همراه آورده است، بايد توجه داشت كه تأثير ديگر اين موفقيت‌ها به حاشيه رانده شدن، و حتي به فراموشي سپرده شدن ساير روش‌ها در يادگيري ماشين بوده است. به طور خاص يكي از زمينه‌هاي پژوهشي در سايه موفقيت‌هاي روش‌هاي مبتني بر بهينه‌سازي عملاً به حاشيه رانده شد، تلاش براي پياده‌سازي يادگيري از طريق روش‌هاي الهام‌گرفته از علوم عصبي، مانند يادگيري هِبين، و روش‌هاي مبتني بر آن‌ها مانند مدل‌هاي انرژي-محور بوده است. در اين پايان‌نامه ابتدا به بررسي خواص بازنمايي‌هاي تنك، يعني بازنمايي‌هاي دودويي كه بيشتر ابعادشان برابر با صفر بوده و تنها كسر كوچكي از آن‌ها يك باشد، مي‌پردازيم و در ادامه برخي از خواص جالب توجه مدل‌هاي انرژي-محور را مورد بررسي قرار مي‌دهيم. سپس با الهام از مدل‌هاي انرژي-محور الگوريتم جديدي را معرفي مي‌كنيم كه با استفاده از شكل متفاوتي از انتشار عقبگرد، توانايي يادگيري بازنمايي‌هاي چندلايه از داده‌ها را، براي مدل‌هاي مشتق‌ناپذير، با فعاليت‌هاي دودويي و تنك، و اتصالات دودويي دارا باشد. در نهايت، چندين نوع مختلف از مدل‌ها را طراحي و پياده‌سازي مي‌كنيم كه با استفاده از اين الگوريتم جديد، توانايي يادگيري رشته‌هاي زماني مانند جملات زبان طبيعي را هم به صورت مستقيم، مانند شبكه‌هاي عصبي بازگشتي، و هم به صورت غيرمستقيم، مانند شبكه‌هاي كدكننده-كدگشا دارا باشد.

1399/10/30

Semantic Text Processing Using Sparse Representaions

11/18/2020 12:00:00 AM

In the last two decades, significant increase in computing power and the amount of available data, has pushed researchers in artificial intelligence and data science, towards the use of connectionist systems, and particularly artificial neural networks, in lieu of the older, more hardwired systems. In this context, neural networks have gained their impressive chain of successes through one learning technique that is the derivative-based optimization, using the backwards propagation of gradients. Despite all the successes that this technique has brought about for the neural networks, it is important to note that the other effect of this trend has been for the other learning techniques to be pushed to the sidelines or even forgotten. In particular, one of lines of research that was pushed to side due to the success of derivative backpropagation, has been research respecting the learning techniques inspired by biological neural networks such Hebbian learning, or techniques based upon those, such as energy-based models. In this work, first we discuss the general principles regarding the properties of sparse representations, that are binary representations consisting of mostly zero bits and a smaller number of one bits, and continue by discussing some of the interesting properties of energy-based models. Then we propose a new algorithm, inspired by the logic behind energy-based models, that has the ability to learn multi-layered neural networks using a different type of backpropagation that can work with non-differentiable models with binary sparse activations and binary connections. In the end, we design and implement several types of models, that can learn sequential data, such as natural language sentences, in a multi-layered fashion, using the new algorithm, both in a direct way, similar to a recurrent neural network, and in an indirect attention-based model, similar to an encoder-decoder neural network.

يادگيري ماشين , شبكه‌هاي عصبي , بازنمايي‌هاي تنك

Machine Learning , Neural Networks , Sparse Representations