12779

گفتگوي تصويري

1401

دكتر سيد صالح اعتمادي

گفتگوي تصويري يك وظيفه يادگيري ماشين است كه در آن مدل بايد بتواند مكالمه معنادار با انسان در مورد محتواي تصوير داشته باشد. به طور خاص، مدل بايد با توجه به تاريخچه گفتگو، به پرسش فعلي كاربر پاسخ دهد. اين يك چالش دشوار و در عين حال مهم است، زيرا مدل بايد بتواند چندين مهارت مختلف را تركيب كند كه در صورت موفقيت، مي‌تواند منجر به توسعه مدل‌هاي زباني چندحالته شود كه قادر به برقراري ارتباط با انسان‌ها در مورد محتواي تصوير به طور طبيعي و معنادار هستند. در سال‌هاي اخير، پيشرفت‌هاي قابل توجهي در اين زمينه حاصل شده است. اين پيشرفت‌ها بيشتر به دليل توسعه مدل‌هاي زباني جديدي است كه مي‌توانند محتواي تصوير را بهتر درك كنند و مكالمات را در دورهاي متوالي دنبال كنند. در فصل نخست اين پژوهش، ضمن معرفي مسئله گفتگوي تصويري، كاربردها و چالش‌هاي آن را نيز مورد بررسي قرار مي‌دهيم. در فصل دوم به بررسي برخي مفاهيم پايه‌اي در پردازش زبان طبيعي مي‌پردازيم. سپس در فصل سوم، كارهاي مرتبطي كه در اين زمينه انجام گرفته شامل مجموعه‌دادگان ارائه شده در اين حوزه، معماري‌هاي پيشنهادي و معيارهاي ارزيابي را مرور مي‌كنيم. در فصل پاياني بعد از نتيجه‌گيري، گام‌هاي آينده و جهت‌هاي پيشنهادي را مطرح كرده تا در ادامه مسير بر روي آن‌ها پژوهش‌هاي بيشتري انجام دهيم.

11/15/2023 12:00:00 AM

81081

1402/09/08

Visual Dialog

گفتگوي تصويري , پردازش زبان طبيعي , بينايي ماشين , تعامل چندحالته , سيستم هاي گفتگو

Visual Dialog , Natural Language Processing , Computer Vision , Multi-modal interactions , Dialog Systems