26720

آشكارسازي و تخمين عمق گل محمدي با استفاده از يادگيري عميق

كارشناسي ارشد

مهندسي كامپيوتر

1398

1401/02/31

دكتر محسن سرياني

دكتر محمدرضا محمدي

مهندسي كامپيوتر

نظر به افزايش تقاضا در حوزه محصولات كشاورزي در پي افزايش جمعيت، فعالان حوزه كشاورزي در پي خودكارسازي فرايند-هاي مختلف كاشت، داشت و برداشت هستند. چنين امري مي¬تواند به افزايش بهره¬وري در توليد محصولات كشاورزي منجر شود. گل محمدي پس از زعفران بالاترين مقدار از سطح زير كشت گياهان دارويي ايران را به خود اختصاص داده است. در طي سالهاي گذشته سطح زير كشت اين گياه رشد قابل ملاحظه¬اي داشته است و پيش¬بيني مي¬شود اين مقدار در سال¬هاي آينده توسعه بيشتري نيز داشته باشد. از دلايل اين رشد مي توان به برخورداري از زنجيره ارزش بالا، نياز به آب نسبتا كم و مقاومت به تنش¬هاي محيطي اشاره كرد. توسعه يك ربات با قابليت آشكارسازي و تخمين عمق گل محمدي به منظور خودكارسازي فرايند برداشت مي¬تواند موجب افزايش بهره¬وري و سوددهي شود. اخيراً با پيشرفت هوش مصنوعي و استفاده وسيع آن در بينايي كامپيوتر عمليات تخمين عمق و درك سه بعدي محيط با استفاده از تصاوير دوربين¬ها مي¬تواند در كاهش هزينه¬ها و رفع مشكلات حسگر¬ها موثر واقع شود. راهكار اصلي اين پژوهش استفاده از يادگيري عميق جهت آشكارسازي يكپارچه مكان دو بعدي گل¬هاي محمدي به همراه تخمين عمق متناظر با آنها در تصاوير استريو راست¬سازي شده است. به منظور آموزش مدل¬ها، مجموعه داده¬اي ساختگي شامل 1000 تصوير استريو به همراه برچسب¬هاي سه بعدي و دو بعدي مراكز گل تهيه شده است. با توجه به امكانات موجود، دستگاهي براي ثبت تصاوير استريو تهيه و يك مجموعه داده واقعي نسبتا كوچك، به همراه برچسب دو بعدي مكان گل¬ها جمع آوري شده است. در راهكار¬هاي ارائه شده، آشكارسازي دو بعدي گل¬ها به صورت فشرده و مبتني بر نقطه انجام مي¬شود. مزيت اين روش نسبت به روش¬هاي مبتني بر لنگر، حذف مراحل پيش¬پردازش و پس¬پردازش از فرآيند پياده¬سازي و آموزش شبكه عصبي است. به منظور تخمين عمق متناظر با نقاط آشكارسازي شده، از دو رويكرد، يكي صريح و مبتني بر الگوريتم تطبيق قالب و ديگري ضمني و مبتني بر يادگيري عميق استفاده شده است. اين راهكار¬ها در وظيفه آشكارسازي دو بعدي گل¬ها دقت ميانگين بالاي 90 درصد و در بخش تخمين عمق، خطاي كمتر از 10 سانتي¬متر را براي محدوده سنجش 2 متر به ثبت رسانده¬اند. با توجه به اينكه يادگيري عميق امكان سنجش عمق از يك تصوير را نيز فراهم مي¬آورد، يك راهكار مكان¬يابي سه بعدي تك تصوير نيز ارائه شده است كه نتايج آن قابل توجه است.

1401/04/15

Deep Learning-based Detection and 3D Localization of Damask Roses

5/21/2023 12:00:00 AM

Due to the demand increase for agricultural products following the population growth, agricultural artisans seek to automate various planting, holding, and harvesting processes that can lead to increased productivity and profitability. After saffron, Damask Rose has the highest magnitude of cultivated area of Iranian medicinal plants. Over the past years, the area under cultivation of the plant has grown significantly and is expected to be further extended in the coming years. The reasons for growth are a high-value chain, relatively low water needs, and resistance to environmental stresses. Developing a robot with the ability of three-dimensional localization of flowers as an aim for the automation of the harvesting process can increase productivity and profitability by an enormous gain. In the last years, deep learning-based methods have demonstrated state-of-the-art results in the 3D localization of objects. Therefore, using these methods can effectively reduce costs since there is no need to purchase high-precision equipment. Given rectified stereo images as input, this research leverages deep neural networks to localize Damask roses in images and estimate their corresponding depth. A synthetic dataset of Damask roses containing 1000 stereo images with corresponding 3D and 2D labels has been produced. A realistic dataset was also gathered that contains stereo images of Damask flowers with only 2D labels. A point-based solution to object detection was proposed to detect Damask roses in 2D. This form of dense prediction does not require any pre-processing and post-processing steps that are required by anchor-based methods; therefore, the implementation is much easier. Two approaches have been proposed for estimating the corresponding depth of 2D points. The first performs matching across stereo images explicitly using template matching and estimates depth using epipolar geometry, while the second estimate it implicitly using a deep residual convolutional neural network. The proposed methods achieve over 90% precision for the 2D detection task and an average L1 error of lower than 10 cm in the distance range of 2 meters for the depth estimation task. Since deep learning-based methods have made single image depth estimation possible, another algorithm has been proposed for single image 3D localization of Damask roses.

يادگيري عميق , گل محمدي , مكان يابي سه بعدي , بينايي كامپيوتر , تصاوير استريو

Deep Learning , Damask Rose , 3D Localization , Computer vision , Stereo Images

taha samavati

dr. mohsen soryani