30429

تشخيص شخصيت كاربران شبكه هاي اجتماعي با استفاده از روش هاي مبتني بر يادگيري عميق چندحالته

كارشناسي ارشد

مهندسي كلمپيوتر-هوش مصنوعي

1399

1402/06/26

دكتر سيدصالح اعتمادي

كامپيوتر

امروزه با گسترش شبكه‌هاي اجتماعي، نحوه ارتباط افراد با يكديگر تفاوت پيدا كرده است و اين امكان را دارد كه بينش جديدي در مورد رفتار انسان ارائه‌ دهد. شخصيت هر كاربر مي‌تواند نشان‌دهنده نوع رفتار آن شخص و علاقه‌مندي‌هايش باشد. شخصيت تركيبي از رفتار، احساسات، انگيزه، خصوصيات فردي و الگوهاي فكري افراد است كه بر شيوه زندگي، رفاه، سلامتي، ترجيحات و خواسته‌هاي افراد تأثير مي‌گذارد. از اين رو، توانايي تشخيص ويژگي‌هاي شخصيتي داراي بسياري از كاربردهاي مهم عملي است. برخي از اين كاربردها شامل دستياران شخصي پيشرفته، سيستم‌هاي توصيه، تبليغات و استفاده از ويژگي‌هاي شخصيتي در مصاحبه‌هاي شغلي است. روان‌شناسان براي تشخيص تيپ شخصيتي افراد معمولا به‌صورت مستقيم از پرسش‌نامه‌ها استفاده مي‌كنند، اما اطلاعات افراد مانند متن‌ها و تصاوير آن‌ها در شبكه‌هاي اجتماعي نيز مي‌تواند نشان‌دهنده نوع شخصيت آن‌ها باشد. بنابراين، علاقه قابل توجهي در توسعه مدل‌هاي پردازش زبان طبيعي و مدل‌هاي تصويري و غيره وجود دارد كه بتوانند با استفاده از داده‌هاي آنلاين درباره علايق، رفتارها و ترجيحات افراد، شخصيت فرد را به درستي شناسايي كنند. اين مدل‌ها كاربردهاي عملي و حياتي دارند زيرا به طور خودكار سطوح شخصيتي افراد را پيش‌بيني مي‌كنند. با رشد قابل توجه اطلاعات متني، تصويري، صوتي و داده‌هاي توليد شده توسط كاربران در شبكه‌هاي اجتماعي، آزمون‌ها بايد بتوانند به طور كارآمد و خودكار داده‌ها را تحليل كرده و انواع مختلفي از اطلاعات را از آن استخراج كنند. همچنين، اين منبع غني از دانش، ما را قادر مي‌سازد تا نيازها، خواسته‌ها و وضعيت‌هاي عاطفي انسان را درك كنيم و به عنوان يك منبع ارزشمند براي شناسايي ويژگي‌هاي شخصيتي در نظر گرفته مي‌شود. در اين پژوهش، براي شناسايي و پيش‌بيني ويژگي‌هاي شخصيتي افراد از سه نوع داده متني، تصويري و صوتي استفاده مي‌شود. بنابراين مدل پيشنهاد شده در اين طرح يك مدل سه‌حالته مبتني بر يادگيري عيمق است كه به طور كلي، شامل چهار بخش مي‌باشد. در بخش‌ متني مدل پيشنهادي از مدل‌هاي زباني مبتني بر ترنسفورمرها استفاده مي‌شود. در بخش تصويري با استفاده از مدل‌هاي از پيش آموزش داده‌شده بر روي تعداد قابل توجهي تصوير و لايه‌هاي رمزگذار ترنسفورمري يك مدل مكاني-زماني پيشنهاد داده مي‌شود و تاثير تصاوير افراد روي ويژگي‌هاي شخصيتي آن‌ها سنجيده مي‌شود. در بخش صوتي نيز ويژگي‌هاي صوتي با استفاده از شبكه‌هاي عميق استخراج مي‌شوند. در نهايت تمام ويژگي‌هاي استخراج شده متني، تصويري و صوتي با استفاده از روش‌هاي به‌روز يادگيري عميق با يكديگر تركيب شده و ويژگي‌هاي شخصيتي افراد پيش‌بيني مي‌شود. مدل پيشنهادي در اين پژوهش توانست نتايج اميدواركننده‌اي در شناسايي شخصيت افراد به دست آورد كه در مقايسه با كارهاي اخير انجام‌شده در اين حوزه بهبود قابل توجهي داشته است.

1402/11/11

Personality detection of social media users using multimodal deep learning methods

1/1/1900 12:00:00 AM

Nowadays, with the expansion of social networks, the way people communicate with each other has changed, offering a new perspective on human behavior. The personality of each user can be indicative of their behavior and interests. Personality is a combination of behavior, emotions, motivations, individual traits, and thought patterns that influence one's lifestyle, well-being, health, preferences, and desires. Therefore, the ability to recognize personality traits has many important practical applications. Some of these applications include advanced personal assistants, recommendation systems, advertisements, and using personality traits in job interviews. Psychologists typically use questionnaires directly to determine individuals' personality types, but individuals' information such as their texts and images on social networks can also indicate their personality types. In this research, three types of data, textual, visual, and audio, are used to identify and predict individuals' personality traits. Therefore, the proposed model in this project is a three-mode deep learning-based model, which generally consists of four components. In the textual component, the proposed model uses transformer-based language models. In the visual component, a spatio-temporal model based on pre-trained models on a significant number of images and transformer encoder layers is proposed, and the impact of individuals' images on their personality traits is measured. In the audio component, audio features are extracted using deep networks. In the final four-mode model, pre-trained singlemode models are first used to extract single-mode features. In this research, transformer layers are suggested for combining single-mode features, which significantly improve the performance of the multimode model. Additionally, a unified-bert model is proposed for the first time in this problem, which is used to extract visual-linguistic features. The proposed models in this research achieved promising results in identifying individuals' personalities, which showed a significant improvement compared to recent work in this field. The four-mode model proposed in this research achieved an accuracy of 92%, which improved the accuracy by about 0.8% compared to the 2022 research. Furthermore, in the correlation coefficient of alignment metric introduced in recent years, our model improved it by 12% compared to the 2022 research, which is a significant improvement. Various combinations of models were also tested in this research, and the results of all these models also showed significant improvements compared to recent research.

تشخيص شخصيت , مدل هاي چندحالته , پردازش زبان طبيعي

personality recognition , multimodal models , Natural language processing

Hadiseh Mahmoudi

Dr Sauleh Etemadi