20769

۲۰۷۶۹

تنظيم دقيق شبكه هاي كانولوشني عميق براي طبقه بندي آثار هنري

كارشناسي ارشد

هوش مصنوعي

۱۳۹۵-۱۳۹۸

۱۳۹۸/۳/۱

دكتر محمدرضا محمدي

دكتر محمود فتحي

كامپيوتر

با پيشرفت سريع ديجيتال‌سازي نقاشي‌ها، مجموعه‌هاي عظيم از آثار هنري در دسترس عموم قرار گرفته است. ازاين‌رو تحليل نقاشي‌ها و طبقه‌بندي آن‌ها براي آرشيو و بازيابي آثار هنري و نمايه‌سازي پايگاه‌هاي آثار هنري بسيار موردتوجه قرار گرفته است. با توجه به عملكرد موفق روش‌هاي يادگيري عميق در مسائل بينايي ماشين، كاربرد آن‌ها درزمينه‌ي طبقه‌بندي آثار هنري موردبررسي قرار گرفته است. در مقايسه با طبقه‌بندي اشياء طبيعي، طبقه‌بندي آثار هنري بسيار چالش‌برانگيز است، زيرا بسياري از مقوله‌هاي هنري نياز به تجسم و درك مفاهيم انتزاعي و پيشينه‌ي قوي تاريخ هنر دارد. همچنين تمايز ميان سبك‌هاي هنري به دليل شباهت بسيار آن‌ها پيچيده و دشوار است. تحقيقات اخير قابليت انتقال دانش شبكه‌هاي عصبي پيش آموخته به طبقه‌بندي آثار هنري را بررسي كرده‌اند. در اين پايان‌نامه نيز مدل‌هاي پيش آموخته و يادگيري انتقالي‌ براي طبقه‌بندي آثار هنري از منظر سبك هنري مورداستفاده قرار گرفته است. همچنين اين پژوهش يك رويكرد جديد طبقه‌بندي دوسطحي باهدف بهبود دقت طبقه‌بندي سبك هنري معرفي كرده است. در اين روش سبك‌هاي هنري به چند گروه تقسيم مي‌شوند و يك درخت برچسب سلسله مراتبي با استفاده از ماتريس درهم‌ريختگي مدل مسطح توليد مي‌شود. خروجي شبكه از طريق دو سطح مشخص مي‌شود، سطح اول برچسب گروه تصوير ورودي و سطح دوم برچسب سبك تصوير ورودي را تعيين مي‌كند. در مرحله‌ي آموزش ابتدا هم‌گروهي‌هاي كلاس سبك تصوير ورودي تعيين مي‌شود و سپس اتلاف تنها براي اين گروه محاسبه مي‌گردد. همچنين براي محاسبه‌ي اتلاف كلي از مجموع وزني اتلاف دو سطح استفاده ‌شده است. در مرحله‌ي ارزيابي نيز ابتدا گروه تصوير مشخص مي‌شود سپس برچسب سبك تصوير از ميان اعضاي آن گروه تعيين مي‌شود. عامل اصلي بهبود دقت در اين روش، تقليل وظيفه‌ي طبقه‌بندي به چند وظيفه‌ي طبقه‌بندي ساده‌تر است. روش پيشنهادي با استفاده از دو شبكه‌ي DenseNet و ResNet پيش آموخته بر روي تصاوير ImageNet مورد ارزيابي قرار گرفت. نتايج آزمون‌هاي انجام‌شده بر روي مجموعه دادگان WikiArt نشان داد كه روش پيشنهادي دقت روش‌‌هاي پايه را براي شبكه‌ي ResNet از 49 درصد به 54 درصد و براي شبكه‌ي DenseNet از 52 درصد به 57 درصد رسانده است.

1398/04/09

Fine-tuning Deep Convolutional Networks for Fine-art Paintings Classification

9/22/2019 12:00:00 AM

Due to the rapid progress of digitization of paintings, massive collections of artwork are available to the public. Therefore, the analysis of paintings and their classification for the archiving, and retrieval of artworks and indexing artistic databases has been very much considered. Considering the successful performance of deep learning methods in machine vision problems, their application in the classification of artwork examined. Compared to the classification of natural objects, the classification of artworks is very challenging, since many artistic categories require the visualization and understanding of abstract concepts and a strong background in the history of art. Furthermore, the distinction between art styles is complex and difficult due to their very similarity. Recent researches have investigated the ability of transfer learning of pretrained neural networks to the classification of artworks. In this thesis, pretrained models and transfer learning used to classify artworks in terms of artistic styles. In addition, a new two-level classification approach introduced, aimed at improving the accuracy of style classification. In this method, artistic styles divided into several groups, and a hierarchical label tree created using confusion matrix of the flat model. The output of the network is determined from two levels; the first level defines the label of the input image group, and the second level specifies the style of the input image. In the learning phase, firstly, the classes, which in same group with the class of the input image are determined, and then the error calculated for this group only. Furthermore, total weight error of two levels used to calculate the overall error. In the evaluation phase, the image group will identified first; then, the image style label will be determined among the members of that group. The main factor in improving the accuracy of this method is to reduce the task of classification into some simpler classification tasks. The proposed method evaluated using two networks, DenseNet and ResNet, pretrained on ImageNet images. The results of the tests performed on the WikiArt datasets showed that the proposed method improves the accuracy of the basic methods for the ResNet network from 49% to 54% and for the DenseNet network from 52% to 57.