شقايق مبشر

eva‎luation of few-shot and zero-shot learning on a transformer based model for visual question answering and image captioning tasks

امروزه يكي از داغ‌ترين مسائل در زمينه هوش مصنوعي، توانايي ادراك تصوير به كمك مدل‌هاي كارآمد است. ظهور راه‌حل‌هاي يادگيري ماشين مانند توصيف تصاوير، براي افراد نابينا و كم‌بينا كه قادر به درك تصاوير بصري نيستند، يك موهبت است. با استفاده از يك مدل توصيف تصوير، مي توان توضيحات تصوير را براي افراد ارائه كرد. به كمك اين تكنولوژي آن‌ها مي‌توانند درك بهتري از محيط اطراف خود داشته باشند. علاوه بر آن، به كمك مدل‌هاي پرسش و پاسخ تصويري، مي‌توان به پرسش‌هاي كاربر در مورد يك تصوير پاسخ مناسب داد. همچنين مي توان سيستم‌هاي پرسش و پاسخ خودكار كه توانايي ادراك تصاوير را دارند توليد كرد. اين سيستم‌ها مي‌توانند با انسان ارتباط برقرار كنند و در زندگي روزمره كاربردهاي فراواني داشته باشند. در سال‌هاي اخير در دو مسئله توصيف تصوير و پرسش و پاسخ تصويري تلاش‌هاي فراواني صورت گرفته است اما بيشتر آن‌ها نمي‌توانند بر روي تصاوير مربوط به يك فرهنگ خاص عملكرد خوبي نشان دهند. در اين پژوهش قصد داريم ضمن جمع‌آوري يك دادگان كه نمايانگر فرهنگ ايران است، عملكرد يكي از مدل‌هاي موجود (مدل CLIP) را كه در يادگيري بدون نمونه براي ارتباط بين تصوير و متن نسبت به مدل‌هاي ديگر عملكرد بهتري دارد، در اين دو وظيفه با تصاوير مرتبط با فرهنگ ايران به دو زبان فارسي و انگليسي آزمايش كنيم. نوع يادگيري‌هاي آزمايش شده، يادگيري بدون نمونه و يادگيري با نمونه‌هاي معدود است. در اين آزمايش‌ها تلاش مي‌كنيم تا عملكرد CLIP را روي دسته‌هاي خاصي از تصاوير به طور جداگانه آزمايش كنيم و با امتحان محرك‌هاي مختلف عملكرد آن را بهبود ببخشيم.

هوش مصنوعي , پردازش زبان‌هاي طبيعي , بينايي كامپيوتر , پرسش و پاسخ تصويري , توصيف تصوير , يادگيري بدون نمونه , يادگيري با نمونه‌هاي معدود , مدل‌هاي بينايي-و-زبان , مجموعه دادگان فارسي , بررسي عملكرد مدل‌ها با تصاوير مربوط به فرهنگ ايراني