31330

استفاده از يادگيري عميق براي مطالعه پردازش زبان در مغز

كارشناسي ارشد

مهندسي پزشكي - بيوالكتريك

1400

1403/05/27

دكتر محمدرضا دليري

دكتر يداله يعقوب زاده

مهندسي برق

پيشرفت‌هاي اخير در زمينه هوش مصنوعي، منجر به ظهور مدل‌هاي زباني جديدي شده است كه علاوه بر عملكرد مشابه به انسان‌ها، اصول پايه‌اي مشتركي نيز با پردازش زبان در مغز دارند. مطالعات پيشين اين اصول مشترك‌ را با استفاده از بازنمايي‌هاي دروني مدل‌هاي زباني ثابت كرده‌اند. در اين پژوهش، به امكان استفاده از ويژگي‌هاي توصيفي مدل‌هاي زباني براي توصيف پاسخ عصبي ثبت شده از مغز در حين پردازش طبيعي زبان مي‌پردازيم. داده مورد استفاده در اين پژوهش پاسخ مغزي از جنس تصوير برداري تشديد مغناطيسي عملكردي است كه از 136 داوطلب به هنگام گوش كردن به داستان صوتي ثبت شده است. در رويكرد ارائه شده، ابتدا محرك دريافت شده توسط داوطلبين را به عنوان ورودي به مدل‌هاي زباني مي‌دهيم و سپس از اهميت كلمات پيشين به عنوان يك ويژگي توصيفي مدل، براي رمزگذاري پاسخ عصبي ثبت شده از دواطلبين مي‌پردازيم. يافته‌هاي ما قابليت ويژگي‌هاي توصيفي مدل زباني، براي رمزگذاري فعاليت مغزي در يك شبكه گسترده از نواحي مرتبط با پردازش زبان را تأييد مي‌كند. در اين پژوهش مشاهده مي‌كنيم كه مدل رمزگذار، به هنگام استفاده از ويژگي هاي توصيفي نسبت به وقتي كه صرفا از بازنمايي‌هاي دروني استفاده شده است، عملكرد بهتري در پيش‌بيني فعاليت نواحي مغزي مرتبط با درك گفتار، درك و پردازش شنوايي دارد. علاوه بر اين با استفاده از ويژگي‌هاي توصيفي در مدل رمزگذار، شباهت بين سلسله مراتب پردازش زبان در مغز و مدل زباني را نيز نشان مي‌دهيم. امتياز كلمات در لايه‌هاي اول (آخر) مدل زباني، همبستگي بيشتري با نواحي مرتبط با پردازش سطح پايين (پردازش ‌سطح بالا) زبان، نسبت به ساير نواحي دارد. با توجه به نقش فضاي ويژگي اهميت كلمات پيشين در مدل‌هاي زباني، ارتباط آن با پاسخ مغزي بيانگر يك رفتار مشابه از جنس وزن‌دهي به كلمات قبلي در مغز و مدل‌هاي زباني به هنگام پيش‌بيني كلمه بعدي است.

1403/07/03

Studying Language Processing in the Brain Using Deep Learning

8/17/2025 12:00:00 AM

Recent advancements in artificial intelligence give rise to language models (LMs) that not only exhibit human-like performance but also demonstrate shared computational principles with the language processing mechanisms in the human brain. Existing research predominantly highlights the similarity between the internal representations of LMs and those of the brain in response to the same input. In this work, we use the explanations of LMs to explain the brain's neural activity during language processing. We analyze the functional Magnetic Resonance Imaging (fMRI) of 136 participants listening to English narratives. We feed the LMs with the same written narratives as the participants listen to. We then use its linguistic features of attribution (i.e., the importance of context words) and conductance (i.e., the flow of attribution via hidden units) to encode the fMRI responses. Our findings confirm the reliable capacity of these features as LM’s explanations for predicting brain activity within an expansive network of language-related regions. We observe that attributions outperform internal representations in predicting brain activity across regions integral to speech comprehension, perception, and auditory processing. Additionally, our approach reveals a similar processing hierarchy between the brain and LMs. The conductance of the first (last) layers of LMs aligns with low-level (high-level) processing regions in the brain. Considering the role of attribution in LMs, its alignment with the brain suggests a shared weighting mechanism to the previous words in the brain and LMs for predicting the next word.

علوم اعصاب شناختي , علوم اعصاب محاسباتي , مدل هاي زباني , مدل‌هاي رمزگذار , تصوير برداري تشديد مغناطيسي عملكردي , تفسيرپذيري

Cognitive Neuroscience , Encoding Model , functional magnetic resonance imaging(fMRI) , Interpretability , Language Models , Computational Neuroscience

Maryam Rahimihashemabad

Dr.Mohammad reza Daliri