8371

توليد پاسخ در پرسشوپاسخ تصويري

كارشناسي

مهندسي كامپيوتر

1401

دكتر صالح اعتمادي

1402/02/05

مهندسي كامپيوتر

Generate Answer to Visual Questions with Pre-trained Vision-and-Language Embeddings

پرسشوپاسخ تصويري يك فعاليت چالشي است كه طي سالهاي اخير مورد توجه هر دو جامعه پردازش زبان طبيعي و پردازش تصوير قرار گرفتهاست. با در نظر گرفتن يك تصوير و يك سوال مربوط به آن، سيستم موظف است با توجه نتيجهگيري تصويري و پردازش بخشهاي مختلف تصوير و همچنين مقداري اطلاعات عمومي ساده سوالات مربوطه را پاسخ دهد. اكثر راهحل هاي ارائه شده براي اين مسئله به صورت دستهبندي و تككلمهاي هستند، در حالي كه اگر از ديد انسان به مسئله نگاه كنيم متوجه اين مفهوم ميشويم كه پاسخ سوالات بهتر است به صورت توليد جمله باشد. در اين پروژه به بررسي امكانپذيري حل پرسشوپاسخ تصويري در قالب توليد جملات پردا خته شدهاست و روشهاي متفاوتي با ارزيابيهاي كمي و كيفي ارائه شدهاست. همچنين در اين گزارش مقايسه اين روشها و تاثير تغييرات در معماري پيشنهادي نيز مورد مطالعه قرار گرفتهاست. در انتها نيز براي تاييد و صحت نتايج، به ارزيابي انساني پرداخته شده است.

پرسش‌و‌پاسخ تصويري , توليد متن , پردازش زبان طبيعي , هوش مصنوعي