22717

بهبود استفاده از فرايادگيري در توليد گفتگوي شخصي

كارشناسي ارشد

هوش مصنوعي و رباتيك

1396

1399/7/16

دكتر مرتضي آنالويي

كامپيوتر

سامانههاي گفتگوساز كه همچنين به عنوان عوامل مجازي گفتگو شناخته ميشوند، در مجموعه گستردهاي از برنامههاي كاربردي از جمله خدمات و پشتيباني فني، ابزارهاي يادگيري زبان و سرگرمي استفاده ميشوند. در سالهاي اخير با افزايش استفاده از ابزارهاي هوشمند در بين افراد، انگيزه استفاده از زبان طبيعي براي برقراري ارتباط با اين ابزارها بسيار افزايش پيدا كرده است. ايجاد سامانههاي گفتگوسازي كه بتوانند با انسان بهطور منسجم و درگير كننده گفتگو كنند، يك هدف ديرينه در حوزه هوش مصنوعي بوده است. در يك دستهبندي كلي، سامانههاي توليد گفتگو به دو دسته هدف محور و غير هدف محور تقسيم ميشوند. سرويسهاي پشتيباني فني، سامانههاي اطلاعرساني و به شكل كلي سامانههاي پرسش و پاسخ مثالهايي از سامانههاي گفتوگوساز هدف محور هستند. ابزارهاي يادگيري زبان يا شخصيتهاي بازيهاي كامپيوتري نيز نمونههايي از سامانههاي مكالمه غير هدف محور هستند. هر چند هر دو دسته داراي هدفي خاص هستند، اما معمولاً سامانههاي هدف محور با يك معيار كارايي از پيش تعيين شده ارزيابي ميشوند. اين معيار با توجه به وظيفه سامانه و با توجه به نحوه انجام عمل تعريف شده براي آن تعيين ميشود. يكي از عمده چالشهاي موجود براي هر دو گروه ذكر شده، انسجام گفتگوي توليد شده توسط آنها است كه باعث از بين رفتن علاقه كاربر به ادامه مكالمه و در نتيجه كوتاه شدن گفتگوها ميشود. يك راه حل مناسب براي حل اين چالش ايجاد سامانههاي توليد گفتگو شخصيت محور است. در اين روشها وارد كردن ويژگيهاي شخصيتي به سامانه باعث افزايش انسجام و جذابيت گفتگو براي كاربران خواهد شد. براي توليد سامانه ذكر شده يكي از روشهاي موجود استفاده از الگوريتمهاي فرايادگيري است. در اين پاياننامه سعي بر بهبود كارايي روشهاي فرايادگيري در سامانههاي توليد گفتگو شخصيت محور است كه باعث افزايش دقت گفتگوهاي توليد شده خواهد شد. همچنين بهكارگيري اين روشها ميتواند باعث افزايش سرعت عمليات تطبيق مدل با يك شخصيت جديد شود. براي بخش توليد گفتگو از معماري دنبالهبهدنباله و بهصورت خاص از شبكههاي تبديلگر سراسري استفاده شده است. همچنين در بخش فرايادگيري از مدل يادگيري فراشناختي كه بهاختصارMAML(Model-Agnostic Meta-Learning) ناميده ميشود بهره گرفته شده است. دادگان استفاده شده در اين پاياننامه توسط شركت Facebook ارائه شده است. اين دادگان شامل مجموعه مكالمات غير هدفمند و توصيفات مختصري از شخصيت گفتگوگر است كه در اين پاياننامه از اين توصيفات بهصورت مستقيم استفاده نشده است. در بخش اول اين پاياننامه به بررسي چگونگي تاثير اعمال خوشهبندي بر روي دادگان آموزش پرداختهشده است كه نتايج بدست آمده از اين بخش پس از قضاوت انساني برخي جملات به شكل تصادفي، نشان دهنده افزايش خلاقيت مكالمات توليد شده بوده است. در بخش دوم تأثير تكنيك ارائه شده جهت سرعت بخشيدن به عمليات تطبيق مدل به يك شخصيت جديد كه در اين پاياننامه با عنوان ميزانسازي مقدماتي معرفي شده است ،مورد بحث قرار گرفته است كه نتايج بدست آمده از اين بخش نشان دهنده افزايش سرعت تطبيق مدل به يك شخصيت جديد با توجه به معيار خودكار بوده است.

1399/07/23

Improving Meta-learning usage in Personalized Dialogue Generation

10/7/2020 12:00:00 AM

One of the significant adverse in general domain dialogue generation is the lack of constancy. This issue prevents long conversation and impacts the users’ engagement in conversations. Customizing the dialogue systems concerning utterance personality is one way to cope with this challenge. Human designed persona descriptions can be useful to reach this goal. More recently, Meta-Learning approaches have been utilized to propose a method to reach the personalization without explicitly use persona descriptions in open-domain dialogue generation. Our study aims to Improve Meta-learning usage in Personalized Dialogue Generation. We used the transformer and universal transformer model as a seq2seq model and Model-Agnostic Meta-Learning algorithm for Meta-Learning. The Facebook Personalizing Dialogue dataset has been used for training and testing. To achieve our goal, we use two novel approaches. The first approach uses clustering techniques to group similar persona and trains agent on clusters with meta-learning. The intuition behind this phase is to make the model able to generate more productive dialogues. For the second approach, during the test phase, we fine-tune the network’s w.r.t the two most similar points from the training set to current test data, and then uses actual test dialogues to fine-tune more accurately. In this approach, we try to adjust the model starting point by adding another fine-tuning phase. Empirical results show significant improvement compared with the existing models over the consistency metric between model output and persona descriptions.