• شماره ركورد
    30269
  • پديد آورنده

    پارسا عباسي سرابستاني

  • عنوان
    بهبود مشكل‌هاي بيش‌پارامترسازي و توجه ايستا در شبكه‌هاي گرافي توجه رابطه‌اي
  • مقطع تحصيلي
    كارشناسي ارشد
  • رشته تحصيلي
    مهندسي كامپيوتر- هوش مصنوعي
  • سال تحصيل
    1399
  • تاريخ دفاع
    1402/7/10
  • استاد راهنما
    دكتر مرتضي آنالويي
  • دانشكده
    مهندسي كامپيوتر
  • چكيده
    يكي از مسئله‌هاي اساسي در گراف‌هاي چندرابطه‌اي، پيش‌بيني پيوندهاي گم‌شده ميان سه‌تايي‌هاست كه با نام پيش‌بيني پيوند شناخته مي‌شود. امروزه شبكه‌هاي عصبي گرافي (GNN) توانسته‌اند يك روش كارآمد جهت چيرگي بر ساختارهاي پيچيده‌ي گراف به شمار روند. با اين حال، مدل‌هاي مبتني بر GNN موجود براي گراف‌هاي چندرابطه‌اي عموماً با مشكل‌هاي بيش‌پارامترسازي و توجه ايستا مواجه هستند، كه اين امر توانايي آن‌ها جهت غلبه بر الگوهاي پيچيده‌ي رابطه‌ها را مختل مي‌كند. در اين پايان‌نامه، بر اساس ساختار شبكه‌هاي گرافي توجه آگاه به رابطه (RAGAT)، مدل بهبود يافته‌اي به نام RAGATv2 معرفي شده است. يكي از بهبودهاي مهم در اين ساختار، مربوط به مكانيزم توجه آن است. RAGATv2، برخلاف ساختار مبناي خود با الهام از GATv2، از يك مكانيزم توجه پويا بهره مي‌برد. اين امر باعث مي‌شود با تركيب هر دو بردار تعبيه‌ي گره‌ها و رابطه، تاثير نوع رابطه‌ها بر فرآيند تجميع اطلاعات پوياتر و بهتر شود و در نتيجه پيش‌بيني‌هاي دقيق‌تري توليد شود. علاوه بر اين، از طريق طراحي دقيق و محتاطانه‌ي معماري مدل، از بيش‌پارامترسازي آن جلوگيري شده و از تعداد پارامترهاي قابل آموزش نسبت به مدل اصلي كاسته شده است. ارزيابي‌هاي انجام شده بر مجموعه‌داده‌هاي FB15k-237 و WN18RR، برتري عملكرد RAGATv2 را نشان مي‌دهد، كه به ترتيب امتياز Hit@10 معادل با 0.551 و 0.577 را كسب كرده است. RAGATv2 براي FB15k-237 در 4 از 5 معيار و براي WN18RR در 2 از 5 معيار از ديگر مدل‌ها بهتر عمل كرده كه نشان‌دهنده‌ي بهبود قابل توجهي نسبت به RAGAT و مدل‌هاي مبنايي ديگر است.
  • تاريخ ورود اطلاعات
    1402/10/06
  • عنوان به انگليسي
    Improving the Overparameterization and Static Attention Problems in Relational Graph Attention Networks
  • تاريخ بهره برداري
    1/1/1900 12:00:00 AM
  • دانشجوي وارد كننده اطلاعات

    پارسا عباسي سرابستاني

  • چكيده به لاتين
    Link prediction in multi-relational graphs is a fundamental task involving the prediction of missing links based on available triples. Graph Neural Networks (GNNs) have emerged as effective methods for capturing complex graph structures. However, existing GNN-based models for multi-relational graphs often suffer from overparameterization and static attention limitations, which hinder their capacity to effectively capture intricate relational patterns. In this thesis, an enhanced model known as RAGATv2 is introduced. This model is built upon the structure of the Relation Aware Graph Attention Network (RAGAT). A pivotal enhancement lies in the attention mechanism. Unlike its predecessor, RAGATv2 adopts a dynamic attention mechanism inspired by the innovative concept introduced in GATv2. This enhancement improves information aggregation by considering both node embeddings and relational context, resulting in more accurate predictions. Furthermore, the issue of overparameterization is addressed through a judicious design of the model architecture, leading to a reduction in the number of trainable parameters compared to the original RAGAT. The eva‎luation conducted on the FB15k-237 and WN18RR datasets demonstrates the superiority of RAGATv2, achieving Hit@10 scores of 0.551 and 0.577, respectively. RAGATv2 outperforms other methods in 4 out of 5 metrics on FB15k-237 and 2 out of 5 metrics on WN18RR, showcasing a substantial improvement over RAGAT and the baselines.
  • كليدواژه هاي فارسي
    شبكه‌ي عصبي گرافي , شبكه‌ي گرافي توجه , گراف چندرابطه‌اي , گراف دانش , پيش‌بيني پيوند
  • كليدواژه هاي لاتين
    Graph Neural Network , Graph Attention Network , Multi-relational Graph , Knowledge Graph , Link Prediction
  • Author
    Parsa Abbasi Sarabestani
  • SuperVisor
    Dr. Morteza Analoui