21796

21796

اكتساب و ارزيابي مهارتها در يادگيري تقويتي با كمك انگيزش ذاتي

دكتري

هوش مصنوعي

1392-1398

1398/10/23

دكتر مزيني

دكتر باقري شوركي

كامپيوتر

در اين رساله، يك مدل تدريجي جديد مبتني بر انگيزش ذاتي براي اكتساب مهارتها و استفاده از آنها در يادگيري تقويتي ارائه مي‌گردد. در اين مدل، به عامل اجازه داده مي‌شود كه از فاكتورهاي مختلف انگيزش ذاتي براي اكتشاف محيط و اكتساب مهارت استفاده كند. همچنين، ما ايده جديد ارزيابي هر مهارت به طور مستقل و هرس كردن مجموعه مهارت‌ها را مطرح مي‌نمايم كه در كارهاي گذشته مورد توجه قرار نگرفته است. در مدل پيشنهادي، فرآيند يادگيري به دو دوره تقسيم مي‌گردد. در دوره اول كه دوره رشد ناميده شده است، عامل محيط را اكتشاف مي‌كند و مهارت‌هاي مستقل از وظيفه را با كمك مكانيزم‌هاي مختلف انگيزش ذاتي كسب مي‌نمايد. در دوره دوم كه دوره حل وظيفه ناميده شده است، مهارتهاي از پيش ياد گرفته شده به عامل اعطاء مي‌گردد تا آنها را ارزيابي كند و موارد مناسب براي يادگيري يك وظيفه خاص را شناسايي نمايد. مهارتهاي مستقل از وظيفه مي¬توانند در وظايف مشابه ديگر استفاده گردند. در اين رساله، از انگيزه¬هاي سبب بودن، تازگي و تقليد به منظور ارائه روشهايي براي اكتساب مهارت و از انگيزه كنجكاوي براي اكتشاف محيط استفاده شده است و براي هريك از اين انگيزه¬ها يك مدل محاسباتي پيشنهاد مي¬گردد. علاوه بر اين، چهار روش جديد براي ارزيابي مهارت‌ها در فاز دوم ارائه مي‌گردد. نتايج تجربي در چهار دامنه نشان مي‌دهد كه روشهاي ارائه شده به طور قابل توجهي سرعت يادگيري را افزايش مي‌دهند. همچنين نتايج استفاده از مهارتهاي كسب شده با كمك روشهاي ارائه شده در اين رساله برتري قابل ملاحظه¬اي نسبت به ديگر روشهاي كسب مهارت دارند.

1398/11/19

Acquisition and evaluation skills in reinforcement learning using intrinsic motivation

2/4/2020 12:00:00 AM

In this dissertation, we propose a new incremental model for acquiring skills and using them in intrinsically motivated reinforcement learning. In this model, we let the agent use different intrinsic motivation factors for acquiring skills and exploring the environment. Also, we present the new idea of evaluating and pruning independent skills, which has not been taken into account in the related work. In the proposed model, the learning process is divided into two phases. In the first phase which is called the developmental period, the agent explores the environment and acquires task-independent skills by using intrinsic motivation mechanisms. In the second phase which is called solving the external task period, the previously learned skills are granted to the agent and it evaluates them to find the suitable ones for learning a specific task. Task-independent skills can be used for accelerating other similar tasks. In this dissertation, the being of cause, novelty and imitation motivations are used to provide methods for skill acquisition and the curiosity motivation to explore the environment. We propose a computational model for each of these motivations. In addition, we propose four new skill evaluation methods in the second phase. Experimental results in four domains show that the proposed methods significantly increase the learning speed. The results of using the skills acquired by the methods presented in this thesis also show a significant advantage over the other methods presented in the field of skill acquisition.

يادگيري ماشين

يادگيري ماشين