8719

ادغام اطلاعات چند حوزه اي در هوش مصنوعي

كارشناسي

مهندسي برق - مخابرات

1402

دكتر فرزان حدادي

دكتر فرزان حدادي

1402/07/22

برق

Embedding Multimodal Data In AI

در اين مقاله يك مدل براي يادگيري جاسازي توام داده ها در شش حالت مختلف - تصاوير، متن، صدا، عمق، حرارت و دادههاي IMU معرفي ميكنيم. همچنين نشان ميدهيم كه تركيب همه حالت هاي داده هاي جفت شده براي آموزش چنين جاسازي توام ضروري نيست و فقط دادههاي جفت شده با تصاوير براي پيوند همه حالتها كافي هستند. اين مدل ميتواند از مدلهاي بزرگ بينايي - زبان استفاده كند و قابليتهاي بدون نياز به آموزش براي حالتهاي جديد را با استفاده از جفتسازي طبيعي با تصاوير توسعه دهد. اين قابليت هاي جديد شامل بازيابي متقاطع حالتها، تركيب حالتها با محاسبات رياضي، تشخيص و توليد متقاطع بين حالت ها مي شود. تواناييهاي فوري با قدرت كدگذار تصوير بهبود مي يابند و ما در مورد كارهاي تشخيص بدون يادگيري فوري، يك دستاورد جديد علمي ارائه مي دهيم كه فراتر از مدل هاي با نظارت خاص، نسبت به كارهاي قبلي برتري دارد. در نهايت نشان ميدهيم كه اين مدل به عنوان يك روش جديد ارزيابي مدلهاي بينايي براي امور بصري و غيربصري عمل ميكند و نسبت به كارهاي قبل داراي نتايج بهتري در تشخيص با تعداد كمترين نمونه ها مي باشد.

هوش مصنوعي , شبكه عصبي , يادگيري عميق , پردازش سيگنال