18635

۱۸۶۳۵

انتقال يادگيري با استفاده از يادگيري تقويتي عميق

كارشناسي ارشد

هوش مصنوعي و رباتيك

آذر ۱۳۹۶

دكتر ناصر مزيني

كامپيوتر

انتقال يادگيري دسته خاصي از روش هاي يادگيري ماشين مي باشند كه به استخراج دانش از يك وظيفه و انتقال آن به وظيفه اي ديگر مي پردازند. با توحه به سخت تر و بزرگتر شدن روز به روز مسائلي كه با استفاده از روش هاي يادگيري ماشين قابل حل هستند و به تبع آن طولاني تر شدن زمان آموزش روش هاي يادگيري نياز به وجود روش هايي كه بتوانند از دانش قبلي حاصل از انسان يا روش هاي يادگيري ديگر استفاده نمايند، الزامي مي باشد. در ادبيات انتقال يادگيري روش هاي پيشنهادي را مي توان به دو گروه كلي تقسيم نمود. روش هايي كه اقدام به انتقال دانش نموده اند و روش هاي كه اقدام به استخراج دانش نموده اند. در ادبيات موضوع به خوبي بر روي روش هاي انتقال بحث شده است و روش هاي متفاوتي ارائه شده است. اما به استخراج دانش كمتر بها داده شده است. در حالي كه نوع دانشي كه اقدام به انتقال آن مي كنيم خود مي تواند بسيار حائز اهميت باشد و منجر به بهبود يادگيري گردد. در ميان روش هاي استخراج دانش تا به حال در ادبيات موضوع به فرآيند يادگيري توجه نشده است و از آن دانشي استخراج نشده است در حالي كه تجربيات عامل در طي فرآيند يادگيري مي تواند بسيار مفيد باشد و به بهبود فرآيند يادگيري كمك نمايد. از اين رو بر آن شديم تا در اين پايان نامه به ارائه روشي بپردازيم كه از فرآيند يادگيري دانش استخراج كرده كه استفاده از اين دانش منجر به بهبود سرعت يادگيري مي گردد. در اين پايان نامه اقدام به ارائه تابع پتانسيلي نموده ايم كه اقدام به استخراج دانش از فرآيند يادگيري نموده و با استفاده از اين دانش سرعت يادگيري عامل هاي تك وظيفه اي و چند وظيفه اي را افزايش داده است. روش پيشنهادي در محيط يادگيري Arcade مورد ارزيابي واقع شده است و نتايج حاصل نشان از بهبود فرآيند يادگيري در عامل هاي تك وظيفه اي و چند وظيفه اي دارد.

1397/01/18

4/7/2018 12:00:00 AM

Transfer learning is a particular category of machine learning methods that extract knowledge from one task and transfer it to another task. Due to that issues that are solvable using machine learning methods are getting harder and larger each and every days And, consequently, the longer the training time of learning methods requires the need for methods that can use prior knowledge of humans or other learning methods. In the transfer learning literature, the proposed methods can be divided into two general groups. Methods that transfer knowledge, and methods that extract knowledge.In the literature, transfer methods are well discussed and different methods are presented. But knowledge extraction methods are less explored. While the type of knowledge we transfer can be very important and lead to improvement. Among the knowledge extraction literature, the subject that has never been addressed is learning process and no knowledge extraction method has been provided for learning process, while the experiences of the agent during the learning process can be very helpful and help improve the learning process. Therefore, we decided to present in a methode that extracts knowledge from learning process that can be used to improve the learning speed. In this thesis, we have presented a potential function that attempted to extract knowledge from the learning process and, using this knowledge, increased the learning speed of single-task and multi-task agents. The proposed method has been evaluated in the Arcade learning environment and the results indicate an improvement in the learning process in both single-task and multi-task agents.