20368

۲۰۳۶۸

مدل سازي زباني با استفاده از شبكه هاي عصبي عميق

كارشناسي ارشد

هوش مصنوعي

۱۳۹۷

۱۳۹۷/۱۲/۲۱

دكتر احمد اكبري ازيراني - دكتر ناصر مزيني

دكتر بابك ناصرشريف

كامپيوتر

در سال‌هاي اخير توجه ويژه‌اي به شبكه‌هاي عصبي به منظور مدل‌سازي زباني در كاربردهاي مختلف پردازش زبان طبيعي شده است. در اين مدل‌هاي زباني ساختارهاي مختلفي از شبكه‌هاي عصبي مورد استفاده قرار گرفته‌اند كه شبكه‌هاي بازگشتي نتايج خوبي در اين زمينه به‌دست آوردند، اين شبكه‌ها با توجه به محدود نبودن به طول ثابتي از كلمات ورودي نتايج بهتري نسبت به شبكه‌هاي پيش‌رو داشتند. با اين وجود شبكه‌هاي عصبي بازگشتي در يادگيري دنباله‌هاي طولاني مشكلاتي دارند كه براي رفع اين مشكل شبكه‌ي حافظه‌ي كوتاه‌مدت ماندگار پيشنهاد شده است. در اين پژوهش به دنبال روشي براي مدل‌سازي زبان با در نظر گرفتن اجزاي كلام بوديم و از شبكه‌هاي كوتاه‌مدت ماندگار يك طرفه و دو طرفه براي مدل‌سازي زباني استفاده شد. ساختاري كه براساس شبكه‌هاي گفته شده پيشنهاد شد، ساختاري موازي براي در نظر گرفتن كلمات و نقش آن‌ها بود. ساختار پيشنهادي شامل دو مسير موازي از شبكه‌هاي حافظه‌ي كوتاه‌مدت ماندگار است كه ورودي مسيرها كلمات و نقش آن‌ها مي‌باشد. ورودي‌ها بعد از عبور از لايه‌ي تعبيه‌ساز وارد حافظه‌ي كوتاه‌مدت ماندگار مي‌شوند و سپس اين دو مسير با هم الحاق شده و در مسير الحاق‌شده با توجه به اين‌كه از شبكه‌هاي يك طرفه و يا دوطرفه استفاده شده باشد، به ترتيب از شبكه‌‌ي حافظه‌ي كوتاه‌مدت ماندگار و لايه‌ي تماماً متصل استفاده مي‌شود و در نهايت هم لايه‌ي بيش‌نرم براي پيش‌بيني كلمه‌ي بعدي قرار دارد. از مجموعه‌ داده‌ي ptb در اين پژوهش استفاده شده است كه يكي از مجموعه‌‌ داده‌هايي است كه به طور گسترده‌ براي ارزيابي عملكرد مدل زبان در زبان انگليسي مورد استفاده قرار مي‌گيرد. براي ارزيابي عملكرد روش‌ها از معيار سرگشتگي استفاده شده‌است. نتايج به‌دست آمده نسبت به مدل‌هاي پايه در يك مجموعه آزمون يكسان، حدود۱/۵ درصد كاهش مقدار سرگشتگي براي شبكه يك‌طرفه و 7 درصد كاهش براي شبكه‌ي دوطرفه داشته‌است.

1398/01/28

Language modeling using deep neural networks

4/17/2019 12:00:00 AM

In recent years, special attention has been paid to neural networks for language modeling in various applications of natural language processing. In these language models, various structures of neural networks have been applied and recurrent networks have achieved good results in this field. These networks have better results than feed forward networks because of not being limited to a constant length of input sequences. Nevertheless, recurrent neural networks have major problem in learning long- term sequences, so to overcome this problem Long Short-Term Memory (LSTM) has been proposed. In this research, a method has been proposed to consider part of speech in language modeling. Unidirectional and bidirectional LSTM have been used to propose the model. The proposed method is a parallel structure for considering words and POS as inputs. The inputs forward to LSTMs after passing through embedding layers, then these two paths concatenated to each other. In this way, according to the type of LSTM (unidirectional or bidirectional) which is used on the parallel paths, data will pass through a new LSTM network or a fully connected layer respectively. Finally, a softmax layer applied to predict the next word of the sequence. In this research the PTB dataset has been used, one of the datasets is widely used to evaluate the performance of language models in English. The performance of the mode is measured by Perplexity. The results compared to the basic models in the same test set. These shows 1.5% reduction of perplexity for the proposed unidirectional network and 7% reduction for the proposed bidirectional network.