25633

استفاده از شبكه‌هاي عصبي ترنسفورمر براي استخراج رابطه با نظارت از راه دور

كارشناسي ارشد

مهندسي كامپيوتر- هوش مصنوعي و رباتيك

1397

1400/8/22

بهروز مينايي بيدگلي

مهندسي كامپيوتر

استخراج رابطه با نظارت از راه دور براي توليد مجموعه داده به صورت خودكار استفاده مي‌شود ولي با توليد نمونه‌هاي اشتباه همراه است. اغلب روش‌هاي موجود از يادگيري چند نمونه‌اي كاهش اثر اين نمونه‌هاي اشتباه استفاده مي‌كنند. با اين حال به دليل اين كه استخراج رابطه، به جاي سطح جمله، در سطح سبد (مجموعه جملاتي كه جفت موجوديت يكسان دارند) انجام مي‌شود و هر سبد يك نمونه محسوب مي‌شود، استفاده از شبكه‌هاي ترنسفورمر با تعداد پارامتر زياد به عنوان كدگذار در يادگيري چند نمونه‌اي نيازمند حافظه‌ي زياد براي آموزش نسبت به يادگيري سطح جمله است. در اين تحقيق، يك روش جديد مبتني بر نمونه‌گيري براي استخراج رابطه با نظارت از راه دور پيشنهاد مي‌دهيم كه حافظه‌ي مورد نياز براي يادگيري چند نمونه‌اي را به طور قابل توجهي كاهش مي‌دهد. در روش پيشنهادي، در هر گام از فرآيند آموزش، مجموع تعداد جملات موجود در سبد‌ها در يك دسته را با نمونه‌گيري از سبد‌ها محدود مي‌كنيم. با اين حال اين نمونه‌گيري تصادفي باعث حذف شدن جملات صحيح از سبد‌هاي جملات مي‌شود. همچنين به دليل ماهيت تصادفي اين روش آموزش، جملات يك سبد در هر گام از آموزش متفاوت خواهند بود و به اين دليل با هر بار آموزش، مثل اين است كه مدل روي يك مجموعه داده كمي متفاوت آموزش ديده و به همين دليل عملكرد مدل داراي واريانس بيشتري نسبت به حالت عادي خواهد بود. براي رفع اين مشكلات، ما از تركيب چند مدل آموزش داده شده در فاز آزمون استفاده مي‌كنيم. ما از روش پيشنهادي براي تنظيم شبكه ترنسفورمر BERT بر روي مجموعه داده NYT استفاده مي‌كنيم. نتايج به‌دست آمده نشان مي‌دهد كه روش پيشنهادي عملكرد بسيار بهتري نسبت به روش‌هاي مرز دانش كنوني در معيار‌هاي P@N و AUC (به ميزان 0.104) دارد.

1400/09/16

Using Transformer Neural Networks for Relation Extraction in the Distantly Supervised Setting

11/13/2022 12:00:00 AM

Multiple instance learning has become the standard learning paradigm for distantly supervised relation extraction. However, relation extraction is performed at bag level in this learning paradigm and thus has significant hardware requirements for training when coupled with large sentence encoders such as deep transformer neural networks. In this paper, we propose a novel sample-based training method for distantly supervised relation extraction that relaxes these hardware requirements. In the proposed method, we limit the number of sentences in a batch by randomly sampling sentences from the bags in the batch. However, this comes at the cost of losing valid sentences from bags. To alleviate the issues caused by random sampling, we use an ensemble of trained models for prediction. We demonstrate the effectiveness of our approach by using our proposed learning setting to finetuning BERT on the widely NYT dataset. Our approach significantly outperforms previous state-of-the-art methods in terms of AUC and P@N metrics.