• شماره ركورد
    31535
  • پديد آورنده

    شعبان ذكريايي عزيزي

  • عنوان
    تشخيص زبان اشاره با يادگيري عميق
  • مقطع تحصيلي
    كارشناسي ارشد
  • رشته تحصيلي
    مهندسي برق گرايش سيستم هاي الكترونيك ديجيتال
  • سال تحصيل
    1400
  • تاريخ دفاع
    1403/06/24
  • استاد راهنما
    دكتر ستار ميرزاكوچكي
  • استاد مشاور
    -------------------------------------
  • دانشكده
    دانشكده مهندسي برق
  • چكيده
    اين پايان‌نامه به توسعه‌ي مدلي نوين و كارآمد در زمينه‌ي تشخيص زبان اشاره با استفاده از فناوري‌هاي پيشرفته‌ي يادگيري عميق پرداخته است كه با هدف ايجاد بستري جامع براي تعامل و ارتباط مؤثر افراد ناشنوا و كم‌توان در گفتار با جامعه طراحي شده است. با توجه به چالش‌هاي موجود در سيستم‌هاي فعلي تشخيص زبان اشاره، اين پژوهش از تركيبي از شبكه‌هاي عصبي كانولوشني (CNN) و مدل پيشرفته‌ي YOLO بهره گرفته است تا با تكيه بر قابليت‌هاي استخراج ويژگي در سطوح مختلف و پردازش بلادرنگ تصاوير، تشخيص دقيقي از نشانه‌هاي ايستا و پوياي زبان اشاره ارائه دهد. در اين راستا، فرآيند شناسايي و ترجمه‌ي حركات پيچيده‌ي دست و انگشتان به دقت بررسي شده است و الگوريتم‌هاي متعدد يادگيري عميق به منظور ارتقاي دقت، سرعت و انطباق‌پذيري سيستم ارزيابي شده‌اند. براي اجراي اين سيستم، مجموعه داده‌هاي متنوعي از زبان‌هاي اشاره‌ي (ASL ) و فارسي (PSL) گردآوري و پردازش شد. با اعمال روش‌هاي داده‌افزايي و يادگيري انتقالي، اين مدل به شكلي بهينه‌سازي گرديد كه قادر است ويژگي‌هاي حركات دست را در شرايط مختلف محيطي و نورپردازي تشخيص دهد. مدل پيشنهادي پس از آموزش و ارزيابي دقيق، با بهره‌گيري از تكنيك‌هاي پيشرفته‌ي پردازش تصوير و يادگيري عميق، به دقت 95.3% در شناسايي حركات و ژست‌هاي زبان اشاره نصبت به ديگر كارهاي ارائه شده دست يافته است . نتايج حاصل نشان مي‌دهد كه اين مدل نه‌تنها از دقت و سرعت بالايي برخوردار است، بلكه در شرايط چالش‌برانگيز نصبت به مراجع آورده شده نيز پايداري و انطباق‌پذيري مطلوبي دارد. همچنين اين پژوهش پتانسيل بالاي مدل توسعه يافته را براي كاربردهاي مختلف، از جمله سيستم‌هاي تعاملي انسان و كامپيوت (HCI)، ابزارهاي ترجمه‌ي همزمان زبان اشاره و كاربردهاي فناوري كمكي براي افراد داراي محدوديت‌هاي گفتاري و شنوايي نشان مي‌دهد. بدين ترتيب، اين دستاوردها مي‌توانند نقشي كليدي در بهبود كيفيت زندگي افراد كم‌توان و تقويت برابري ارتباطي در جوامع ايفا نمايند.
  • تاريخ ورود اطلاعات
    1403/08/24
  • عنوان به انگليسي
    Sign language Recognition Using Deep Learning
  • تاريخ بهره برداري
    9/14/2025 12:00:00 AM
  • دانشجوي وارد كننده اطلاعات

    شعبان ذكريايي عزيزي

  • چكيده به لاتين
    This thesis focuses on developing an innovative and efficient model for sign language recognition using advanced deep learning technologies, aimed at creating a comprehensive platform to facilitate effective interaction and communication between deaf or speech-impaired individuals and society. Given the challenges in current sign language recognition systems, this research utilizes a combination of Convolutional Neural Networks (CNN) and the advanced YOLO model. By leveraging multi-level feature extraction capabilities and real-time image processing, it provides accurate detection of both static and dynamic sign language gestures. In this regard, the process of recognizing and translating complex hand and finger movements has been meticulously examined, and various deep learning algorithms have been eva‎luated to enhance the system's accuracy, speed, and adaptability. For the system's implementation, diverse datasets from American Sign Language (ASL) and Persian Sign Language (PSL) were collected and processed. Through data augmentation and transfer learning methods, the model was optimized to recognize hand movement features under varying environmental and lighting conditions. After thorough training and eva‎luation, the proposed model, leveraging advanced image processing and deep learning techniques, achieved a 95.3% accuracy rate in recognizing sign language gestures compared to other studies. The results demonstrate that this model not only offers high accuracy and speed but also exhibits strong stability and adaptability in challenging conditions relative to other references. Additionally, this research highlights the model's high potential for various applications, including Human-Computer Interaction (HCI) systems, real-time sign language translation tools, and assistive technologies for individuals with speech and hearing impairments. Thus, these achievements can play a pivotal role in enhancing the quality of life for disabled individuals and promoting communicative equality in societies.
  • كليدواژه هاي فارسي
    زبان اشاره , يادگيري عميق , شبكه‌هاي كانولوشني عميق , تشخيص ژست دست
  • كليدواژه هاي لاتين
    Sign Language Recognition , Deep Learning , Convolutional Networks , YOLO , Human-Computer Interaction
  • Author
    Shaban Zakariaei Azizi
  • SuperVisor
    Dr. Sattar Mirzakuchaki