توليد گزارش براي تصاوير راديولوژي مربوط به قفسه سينه
مقطع تحصيلي
كارشناسي
رشته تحصيلي
مهندسي كامپيوتر
سال فارغ التحصيلي
1404
استاد راهنما
صالح اعتمادي
دانشجوي وارد كننده اطلاعات
سينا علي نژاد
تاريخ ورود اطلاعات
1404/03/11
دانشكده
مهندسي كامپيوتر
عنوان به انگليسي
Report Generation for Chest Radiology Images
چكيده
در اين پژوهش، به بررسͬ و پيشنهاد مدلͬ براي توليد گزارش راديولوژي براي تصاوير اشعه ايͺس مربوط به
قفسه سينه، پرداخته خواهد شد. توليد خودكار اين گزارش ها به دليل تعداد درخواست بالاي بيماران براي اين
نوع تصاوير و كمبود راديولوژيست ها بسيار حائز اهميت است و مͬ تواند به صورت دستيار در كنار شخص
راديولوژيست به تشخيص بهتر ناهنجاري ها و در نتيجه درمان سريع تر كمͷ كند. در اين مقاله، ابتدا يͷ مدل
پايه RAG ارائه خواهد شد كه از روش توليد بر محور بازيابي (RAG (استفاده مͬ كند. سپس مدل FRAG
معرفͬ مͬ شود كه در آن علاوه بر بازيابي گزارش ها، برخͬ ويژگͬ ها يا ناهنجاري هاي مربوط به قفسه سينه
نيز بازيابي مͬ شوند و هردوي گزارش ها و ويژگͬ ها در فرايند توليد گزارش نهايي استفاده مͬ شود. مدل
FRAG به دو روش A-FRAG و B-FRAG پياده سازي مͬ شود كه A-FRAG از ماژول استنتاج بدون نمونه
استفاده مͬ كند در حاليͺه B-FRAG از دسته بند خطͬ بهره مͬ گيرد. در نهايت تمام اين روش ها با استفاده از
معيارهاي پزشͺͬ و زبان طبيعͬ ارزيابي مͬ شوند. نتايج ارزيابي نشان مͬ دهد كه مدل هاي FRAG با اختلاف
زيادي در معيارهاي پزشͺͬ بهتر از مدل RAG هستند و در بين آن دو، مدل A-FRAG عملͺرد بهتري دارد.
همچنين در آزمايش هايي جدا، تاثير روش بازيابي، مدل زبانͬ بزرگ و پرامپت استفاده شده در بخش توليد
نيز مورد بررسͬ قرار خواهند گرفت. براي بازيابي از مدل بينايي‐زبان B-ELIXR استفاده خواهد شد و پس
از استخراج جانمايي ها، به غير از انتخاب بهترين ها، از دو روش ديͽر يعنͬ خوشه بندي Means-K و انتخاب
بيشينه متنوع استفاده خواهد شد. نتيجه نهايي نشان خواهد داد دو مورد روش بازيابي و مدل زبانͬ بزرگ در
عملͺرد مدل تاثيرگذار هستند، در حاليͺه پرامپت ورودي تاثير زيادي ندارد.
