8708

جمعآوري و برچسبگذاري خودكار مجموعه داده براي آموزش مدلهاي شرح متراكم ويدئو

كارشناسي

مهدسي كامپيوتر

1402

دكتر بهروز مينايي - دكتر عيسي زارع پور

1402/07/18

مهندسي كامپيوتر

Automatic collection and labeling of datasets for Teaching dense video description models

تبديل ويدئو به متن از مسائل پيچيده در پردازش تصوير است كه در زمينه هاي مختلفي مانند توليد خودكار عنوان، تعامل انسان و كامپيوتر، كمك به افراد معلول و ساده سازى ويدئو هاى آموزشي به صورت متنى كاربرد به مسئله محلي سازي 1 دارد. تسك شرح متراكم ويدئو 2 رويدادهاي مهم در ويدئو و شرح هر كدام از آن ها در قالب يك جمله كوتاه مي پردازد. هدف اين پروژه جمع آوري مجموعه داده اي است كه بتوان از آن براي پيش آموزش مدل هاي يادگيري عميق، بينايي كامپيوتر و پردازش زبان هاي طبيعي در اين حوزه استفاده نمود. اين مدلها به عنوان ورودي يك ويديو كوتاه را دريافت مي كنند، سپس به عنوان خروجي بخش هاي مهم آن را استخراج كرده و در يك جمله درباره آن توضيح مي دهد. تا به امروز مجموعه داده هاي مختلفي براي آموزش مدل هاي شرح متراكم ويدئو جمعآوري شده است. اكثر آنها شامل كمتر از ده هزار ويدئو مي شوند و به صورت دستي برچسبگذاري شده اند. به عنوان مثال مجموعه داده [1]2YouCook كه يكي از مشهور ترين مجموعه داده هاي اين حوزه است، شامل حدود 2000 ويدئو است كه هر كدام به صورت دستي و توسط يك گروه بزرگ برچسب گذاري شده اند. بيشتر تمركز اين پژوهش بر روي برچسب گذاري خودكار ويدئوها است تا بتوان مجموعه داده هاي بزرگتري را در زمان كوتاه تر جمع آوري كرد. ويدئوهاي اين مجموعه ها، از مجموعه داده هاي بزرگتري مانند [2]M100HowTo جمع آوري شده و تمام ويدئوهاي استفاده شده در آن ها نيز از سايت YouTube جمعآوري شده اند. در اين پژوهش دو روش براي برچسبگذاري داده ها ارائه خواهد شد. روش اول با استفاده از توضيحات متني ارائه شده براي ويديو ها و ديگري با استفاده از داده هاي خام زيرنويس ويديوها است. در انتها نيز مدلي با استفاده از داده هاي جمعآوري شده آموزش داده خواهد شد تا بتوان تاثيرگذاري داده ها را با ساير مجموعه داده ها در اين حوزه مقايسه كرد.

شرح متراكم ويدئو , برچسبگذاري خودكار،