31559

شخيص اشياء در تصاوير هوايي با داده كم مبتني بر يادگيري عميق

كارشناسي ارشد

مهندسي كامپيوتر

1398

1403/01/28

دكتر محمدرضا محمدي

.

مهندسي كامپيوتر

تشخيص شيء يكي اث موضوعات مهمي است كه در حوثه بينايي ماشين بررسي ميشود. اث طرفي تشخيص اشياء در ثمينهي تجزيه و تحليل تصاوير هوايي نقش مهمي دارد و اين مساله يكي اث مسائل باث امروثه است. با توجه به اين كه تصاوير هوايي اث فاصلههاي دور، تصويربرداري ميشوند و ممكن است تصويربرداري در جهات متفاوتي باشد، داراي چالشهايي است كه اث مهمترين آنها ميتوان به مواردي چون تشخيص اشياء كوچك و چندمقياسه، اشياء متراكم، اشياء در جهات متفاوت اشاره كرد. اث طرفي چالش يادگيري با داده كم با توجه به اينكه ممكن است دادگان كمي براي برخي اشياء در اين تصاوير در دسترس باشد، براي آن مطرح است. با توجه به چالشهاي موجود در اين حوثه، شبكهاي طراحي شدهاست كه قابليت تشخيص اشياء با داده كم و در جهات مختلف را دارد و اين كار با افزودن بلوك كاليبراسيون نمونه )PCB )در ثمان ارثيابي، به شبكه v5-YOLO صورت گرفتهاست. در PCB براي هر كالس با استفاده اث دادگان پشتيبان، به وسيله شبكه ResNet101 كه بر روي ImageNet اث پيش آموثش دادهشده، يك ويژگي نماينده به دست ميآيد. سپس براي هر تصوير ورودي نيز يك ويژگي به دست آورده و با به دست آوردن شباهت كسينوسي اين ويژگي با بردار ويژگيهاي نماينده كالسها، امتياث پيشبيني براي آن تشخيص را تغيير ميدهد. به اين ترتيب، براي دادگان جديدي كه تعداد محدودي اث آن داده وجود دارد، عملكرد بهتري به دست ميآيد. اين تركيب، كار جديدي در حوثه تشخيص اشياء در تصاوير هوايي ميباشد كه دقت را بر روي مجموعه دادگان 5.v1 DOTA براي تنظيمات 10 نمونهاي نسبت به مدل پايه v5-YOLO ،59/1 درصد افزايش داد.

1403/08/27

Few-Shot Object Detection in Aerial Images Based on Deep Learning

4/16/2024 12:00:00 AM

Object detection is one of the important topics in the field of computer vision, and object detection in aerial imagery plays an important role in the analysis of aerial images and this issue is one of the open problems today. Aerial images are captured from distant viewpoints, and they may vary in terms of direction, presenting challenges such as detecting small and multi-scale objects, densely crowded objects, and objects in different orientations. Additionally, the challenge of learning with few-shot data arises because there may be limited data available for some objects in these images. To address the challenges in this domain, a network has been designed capable of detecting objects with limited data and in various orientations. This is achieved by adding a Prototype Calibration Block (PCB) during inference time to the YOLO-v5 network. In PCB, a representative feature is obtained for each class using support images through a pre-trained ResNet101 network trained on ImageNet. Then, a feature is obtained for each query image, and by computing the cosine similarity of this feature with the feature vectors of class representatives, the prediction score for that detection is adjusted. This approach results in better performance for new datasets with few-shot data. This combination represents a novel approach in the field of object detection in aerial imagery, achieving a 1.59% improvement in accuracy on the DOTA v1.5 dataset for 10-shot settings compared to the YOLO-v5 baseline model.

يادگيري عميق , تشخيص اشياء , تصاوير هوايي , مستقل از چرخش , يادگيري با داده كم

Obiects detection , Deep learning , Aeirial Imagery , Rotation invariant , Few-shot learning

Sara Aein

Dr. Mohammad Reza Mohammadi