9140

پرسش و پاسخ و دسته‌بندي تصويري مجموعه دادگان داراي توهم توسط مدل‌هاي چندوجهي

كارشناسي

مهندسي كامپيوتر

1403

دكتر صالح اعتمادي

1403/06/10

مهندسي كامپيوتر

Illusory VQA: Benchmarking and Enhancing Multimodal Models on Visual Illusions

در سال‌هاي اخير، حوزه پرسش و پاسخ تصويري به ويژه با ظهور مدل‌هاي چندوجهي كه به طور همزمان فهم بينايي و زبان را ادغام ميكنند، پيشرفت‌هاي قابل توجهي داشته است. با پيشرفت اين حوزه، مجموعه دادگان مرتبط نيز به لحاظ پيچيدگي توسعه يافته‌اند تا بتوانند مدل‌ها را به چالش بكشند. با اين حال پيچيدگي‌هاي ناشي از توهم بصري در اين مجموعه دادگان به طور كامل مورد توجه قرار نگرفته‌اند. در اين پروژه، با توليد و ارائه چندين مجموعه دادگان كه شامل توهمات بصري هستند، به بررسي و تقويت عملكرد مدل‌هاي زباني چند وجهي مي‌پردازيم. همچنين براي در نظر گرفتن گستره بزرگتري از اين مدل‌ها، روش‌هاي تطبيق تصوير و متن را نيز مورد بررسي قرار خواهيم داد.

پرسش و پاسخ تصويري , دسته بندي تصاوير , مدل‌هاي چند‌وجهي