25851

قطعه‌بندي معنايي در خودروهاي خودران مبتني‌بر يادگيري نيمه نظارتي

كارشناسي ارشد

مهندسي برق- سيستم‌هاي الكترونيك ديجيتال

1398

1400/8/27

محمد حسن شجاعي فرد

عبدالله اميرخاني

مهندسي خودرو

جمع‌آوري داده برچسب‌دار براي قطعه‌بندي معنايي به دليل نياز به برچسب‌هاي در سطح پيكسل، گران و وقت‌گير است. در حالي كه رويكردهاي اخير قطعه‌بندي معنايي مبتني‌بر شبكه‌هاي كانولوشني با استفاده از مقادير بسيار زياد داده‌هاي آموزش برچسب‌دار نتايج چشمگيري كسب كرده‌اند، اما با كاهش مقدار داده‌هاي برچسب‌دار، عملكرد آن‌ها به طور قابل توجهي كاهش مي‌يابد. بنابراين روش‌هاي نيمه‌نظارتي با هدف آموزش شبكه به كمك مقدار داده برچسب‌دار محدود به همراه مقدار زيادي داده بدون برچسب‌دار مورد توجه شاياني قرار گرفته‌اند. در سال‌هاي اخير روش‌هاي مبتني‌بر شبه‌برچسب به دقت‌هاي لبه‌تكنولوژي در يادگيري نيمه‌نظارتي(SSL) دست‌ يافته‌اند. اما شبه‌برچسب‌ها به دليل نويزي بودن و عدم اطمينان، دقت روش‌هاي SSL را تحت تاثير قرار مي‌دهند. در اين پايان‌نامه يادگيري متقابل پويا مبتني بر يادگيري تضادي (DMTC) پيشنهاد شده است تا از طريق كمك به دو دانش‌آموز پايه به يادگيري بازنمايي‌هاي متمايزتر، شبه برچسب‌هاي دقيق‌تري به خصوص براي مرزهاي اشيا پيشبيني كنند. يادگيري تضادي در سطح پيكسل روي يك مجموعه تنك از پيكسل‌ها و با حداقل حافظه اضافي مورد نياز اعمال مي‌شود. استفاده از يادگيري‌تضادي و يادگيري‌متقابل باعث افزايش دقت در تهيه شبه برچسب‌ها حين فرآيند آموزش مي‌شود. با انجام آزمايشات روي دو پايگاه‌داده استاندارد Cityscapes و PASCAL VOC در قطعه‌بندي معنايي نيمه‌نظارتي نشان داده شده‌است كه DMTC سبب بهبود عملكرد به خصوص روي تنظيمات تعداد خيلي كم داده برچسب‌دار مي‌شود. روش ارائه‌شده توانسته است با تنها 100 داده برچسب‌دار روي پايگاه داده Cityscapes بهmIoU 59.54 درصد همچنين روي پايگاه داده PASCAL VOC بهmIoU 65.45 درصد برسد. اين مقادير به ترتيب 4.74 و 2.41 درصد از روش لبه تكنولوژي اخير بهتر هستند.

1400/10/18

Semi-supervised Semantic Segmentation in Autonomous Vehicles

11/18/2022 12:00:00 AM

Collecting labeled data for semantic segmentation is expensive and time consuming due to the need for pixel-level labeling. While recent approaches to semantic segmentation based on convolutional networks using large amounts of labeled training data have yielded significant results, their performance is significantly reduced as the amount of labeled data is reduced. Therefore, semi-supervised methods with the aim of training the network with the help of a limited amount of labeled data along with a large amount of unlabeled data have received considerable attention. In recent years, pseudo-labeling methods have reached state-of-arts result in semi-supervised learning (SSL). But pseudo-labels affect the accuracy of SSL methods due to noise and uncertainty. In this dissertation, Dynamic Mutual Learning Based on Contrastive Learning (DMTC) is proposed to provide more accurate pseudo-labels, especially for object boundaries, by helping two basic students learn more discriminative representations. Pixel-level contrastive learning is applied to a sparse set of pixels with minimal additional memory required. The use of contrastive learning and mutual learning increases the accuracy of the preparation of pseudo-labels during the training process. Experiments on both the standard Cityscapes and PASCAL VOC datasets in semi-supervised semantic segmentation have shown that DMTC improves performance, especially on very small labeled data settings. The proposed method has been able to reach 59.45% mIoU with only 100 labeled data on the Cityscapes dataset and 65.45% on the PASCAL VOC dataset. These values are 4.74 and 2.41, respectively, better than the latest state-of-art method.