9640

توسعه سامانه بينايي ماشين و پردازش زبان با استفاده از رابط برنامه نويسي كاربردي هوش مصنوعي

كارشناسي

مهندسي كامپيوتر

1403

دكتر مرتضي آنالويي

دكتر بهروز مينايي بيدگلي

1404/01/20

مهندسي كامپيوتر

Development of computer vision and language processing system using artificial intelligence application programming interface

اين پژوهش به منظور طراحي و پياده‌سازي سيستمي براي تبديل زبان اشاره به متن انجام شده است. در اين فرآيند، ويدئوهاي حاوي زبان اشاره پردازش شده و در نهايت جملات معناداري توليد مي‌شوند. اين سيستم با هدف تسهيل ارتباط ميان افراد ناشنوا و شنوا و ارائه ابزاري براي ترجمه بلادرنگ زبان اشاره توسعه يافته است. مراحل اصلي اين پژوهش شامل چهار بخش است. در مرحله نخست، فريم‌هاي كليدي از ويدئوها استخراج مي‌شوند تا تغييرات وضع دست را ثبت كنند. سپس، در مرحله دوم، يك سيستم مبتني بر يادگيري ماشين و بينايي كامپيوتري طراحي و پياده‌سازي شده است كه قادر به تشخيص حروف زبان اشاره مي‌باشد. در مرحله سوم، رشته‌اي از حروف شناسايي‌شده به كلمات معنادار تبديل مي‌شود و اين فرآيند با استفاده از روش‌هاي پردازش زبان طبيعي انجام مي‌گيرد تا پايه‌اي براي ساخت جملات فراهم شود. در نهايت، در مرحله چهارم، مدل GPT-4o mini بهبود فاصله‌هاي معنايي ميان كلمات را انجام داده و جملات نهايي را توليد مي‌كند.

زبان اشاره , ترجمه بلادرنگ زبان اشاره , يادگيري ماشين , بينايي كامپيوتر , پردازش زبان طبيعي , GPT