22438

پيشنهاد ايموجي بر اساس تصوير در شبكه هاي اجتماعي

كارشناسي ارشد

نرم افزار

1399/3/12

دكتر حسن نادري

كامپيوتر

ايموجي يك روش مرسوم در ارتباطات ديجيتال، براي هر شبكه اجتماعي و همه زبان¬ها است كه امكاناتي را براي تعاملات به نمايش مي¬گذارد. حالات چهره، ابزار مؤثر غير¬زباني براي به اشتراك گذاشتن احساسات هستند. ايموجي¬ها به اين منظور در تعاملات استفاده مي¬شوند. ايموجي¬ها در تقويت معاني پيام¬هاي نوشتاري از طريق شبيه¬سازي حالات چهره به¬ كار مي¬روند. از چهره¬هاي خندانك براي بيان احساسات خاص يا نشان دادن عكس¬العمل استفاده مي¬شود كه بيشتر از ساير ايموجي¬ها از آن¬ها استفاده مي¬شود. احساسات به سه دسته مثبت، منفي و خنثي تقسيم¬بندي مي¬شوند يا مي¬توانند به يك توضيح غني¬تر از عواطف ريز¬دانه تعميم داده شوند. به اين منظور در اين پروژه روشي براي پيشنهاد ايموجي مرتبط با تصوير ارائه مي¬گردد. در اين روش كاربران براي استفاده از يك ايموجي بايد از ليست موجود، يكي از آن¬ها را انتخاب كنند يا از تركيب خاصي از كاراكتر¬ها براي وارد كردن در پيام استفاده نمايند. استفاده از ايموجي در شبكه¬هاي اجتماعي به زمينه فرهنگي كاربر، كشور، جنسيت و رويدادهاي مهم زماني بستگي دارد. اين موانع چالش¬هايي را به دليل وجود ابهام، گستردگي معاني و كاربرد، براي يادگيري مؤثر نمايش ايموجي ارائه مي¬دهد. مبناي تشخيص حالت چهره بر اساس پردازش تصوير و شناسايي الگو است. توسعه اين موارد منجر به پيشرفت¬هايي در زمينه تعاملات ماشين – انسان مانند پزشكي و روانشناسي خواهد شد. سيستم¬هاي رايانه¬اي بايد تا حد ممكن در ارتباطات، تعامل انسان با انسان را شبيه¬سازي كنند. به ¬منظور پيش¬بيني ايموجي متناظر بر¬ روي رابط كاربري، اطلاعات چهره جمع¬آوري و پردازش مي¬شود كه در اين راستا، از مدل¬هاي شبكه¬ عصبي عميق پيچشي بر روي مجموعه داده، براي رسيدن به كارايي مناسب استفاده مي¬گردد. تشخيص چهره از طريق كتابخانه OpenCV كه از الگوريتم‌هاي يادگيري ماشين از جمله Viola-Jones استفاده مي‌كند و محاسبات آن به صورت بلادرنگ است، انجام مي¬پذيرد. به علاوه، يك سيستم تشخيص شئ نوين و بلادرنگ چندمقياسي، بر مبناي شبكه¬هاي پيچشي عميق، به نام YOLOv3، با هدف تشخيص دقيق، پرسرعت و كارامد، كه مي¬توان به راحتي از مدل¬هاي آن در OpenCV بهره برد، پيشنهاد مي¬گردد. براي ارزيابي و آزمون خودكار ميزان موفقيت و نمايش عملكرد و كاربرد الگوريتم¬ها، يك طبقه¬بندي¬ كننده كه بين حالت¬هاي احساس كاربر و باقي حالات تمايز قائل است، در نظر گرفته مي¬شود. در حوزه رابط كاربري، بين پاسخ زماني و ميزان موفقيت طبقه¬بندي¬ كننده، ايجاد تعادل لازم است. هدف، استفاده از الگوريتم¬هايي با هزينه محاسباتي كمتر و كاهش نرخ تأخير زماني است.

1399/06/22

Emoji Recommendation Based on Image in Social Networks

6/2/2021 12:00:00 AM

Emoji is a common way of digital communication, for any social network and all languages that provides the means of social interactions. Facial expressions are effective non-lingual tools for sharing emotions. And emojis are used for this purpose in interactions. Emojis are used to reinforce the context of text messages by simulating facial expressions. Smiley faces are used to express specific feelings or to show reactions and they are used more than the other emojis. Emotions are divided into three categories: positive, negative, and neutral or they can be generalized to a richer explanation of fine-grained emotions. For this purpose, in this thesis, a method is presented for suggesting emojis related to the image. In this method, users must choose one emoji from the available list to use an emoji or they can use a special combination of characters to enter in the message. The use of emojis on social media depends on the user's cultural background, country, gender, and important life-time events. These barriers offer challenges for effective learning of emoji representation due to ambiguity, breadth of meanings and usages. The basis of the face expression detection is based on the image processing and the detection of the algorithm. The expanding of these options will terminate the improvement of human- machine interaction like medical applications and Psychology. In the communications, the computer systems should simulate the human interactions as much as possible. In order to the respective emoji prediction, on the user interface, the facial information is collected and processed. In this regard, deep convolutional neural network models are used on the data set, to achieve the appropriate performance. Face recognition is performed via the OpenCV library, which uses machine learning algorithms, such as Viola-Jones and its calculations are real-time. In addition, a new multidimensional real-time object recognition system, based on deep convolutional networks, called YOLOv3, is suggested, with the aim of accurate, high-speed and efficient detection, which can be easily used in OpenCV models. For evaluating and testing the success rate and performance of algorithms automatically, a classifier is considered that distinguishes between user-feeling expressions and other expressions. In the field of user interface, it is necessary to strike a balance between the time response and the success rate of the classifier. The goal is to use algorithms with lower computational costs and reduce time latency.