تحليل احساسات مبتني بر جنبه به مدل‌هايي نياز دارد كه تعادل بين عملكرد پيش‌بيني بالا و قابليت تفسير را حفظ كنند. اين مطالعه يك چارچوب نوين و قابل تفسير معرفي مي‌كند كه يادگيري بازنمايي احساسات را بهبود داده و با تنظيم انتخابي فعال‌سازي‌هاي عصبي، دقت و قابليت تفسير را افزايش مي‌دهد. مدل‌هاي زباني پيش‌آموزش‌يافته موجود اغلب در استخراج ويژگي‌هاي دقيق و خاص احساسات دچار ضعف بوده و فاقد قابليت تفسير هستند. براي حل اين مشكل، يك رويكرد دو مرحله‌اي پيشنهاد مي‌كنيم. در مرحله پيش‌آموزش، مدل‌سازي زبان پوشيده (MLM) را در معماري BERT-base-uncased اصلاح كرده و سه هدف را ادغام مي‌كنيم: يادگيري كنتراستيو آگاه از جنبه، پيش‌بيني جنبه، و پيش‌بيني قطبيت احساسات. اين فرآيند منجر به يادگيري بازنمايي‌هاي متني قوي و حساس به احساسات مي‌شود. آموزش مدل بر روي مجموعه داده‌هاي بزرگ Yelp (1.5 ميليون بررسي) و Amazon (0.51 ميليون بررسي) انجام مي‌شود كه منجر به سازگاري قوي با حوزه‌هاي مختلف مي‌گردد .در مرحله تنظيم دقيق، يك استراتژي بهينه‌سازي در سطح نورون ارائه مي‌دهيم كه تنها نورون‌هاي غيرفعال را به‌صورت انتخابي اصلاح مي‌كند. با استفاده از امتيازهاي انتساب احساسات مبتني بر گراديان‌هاي يكپارچه، نورون‌هايي با امتياز انتساب پايين شناسايي شده و از طريق يك استراتژي انجماد گراديان به‌روزرساني مي‌شوند. تحليل فعال‌سازي نورون‌ها نشان مي‌دهد كه اطلاعات مرتبط با احساسات عمدتاً در لايه‌هاي انتهايي متمركز است، جايي كه تعداد نورون‌هاي غيرفعال بيشتر از نورون‌هاي برجسته است. تنظيم دقيق اين نورون‌ها منجر به بهبود طبقه‌بندي و سازماندهي مجدد فعال‌سازي‌ها مي‌شود، به‌گونه‌اي كه 39.31٪ از نورون‌هاي غيرفعال به پيش‌بيني‌كننده‌هاي برجسته تبديل مي‌شوند. آزمايش‌هاي گسترده روي مجموعه داده‌هاي Semeva‎l 2014 (Lap-14, Res-14)و MAMS نشان مي‌دهند كه روش تنظيم دقيق هدفمند ما، عملكرد بهتري نسبت به تنظيم دقيق كامل و روش‌هاي پيشرفته موجود از نظر دقت و امتياز F1-macro دارد. مطالعات حذف مؤلفه‌ها تأثير هر يك از ضرايب ازدست‌رفت را تأييد كرده و تحليل نورون‌ها نشان مي‌دهد كه تنظيم دقيق انتخابي چگونه قابليت تفسير مدل را بهبود مي‌بخشد. اين چارچوب با بهره‌گيري از نورون‌هاي كم‌استفاده‌شده، عملكرد و شفافيت مدل را ارتقا داده و بينش‌هايي درباره استراتژي‌هاي تنظيم دقيق كارآمد و قابل تفسير در پردازش زبان طبيعي ارائه مي‌دهد.

1403/12/05

Decoding Sentiments: Interpreting Feed-Forward Network Neurons for Polarity Detection

2/12/2026 12:00:00 AM

Aspect-based sentiment analysis (ABSA) requires models that balance high predictive performance with interpretability. This study introduces a novel, interpretable framework that enhances sentiment representation learning and selectively fine-tunes neural activations to improve accuracy and interpretability. Existing pre-trained language models often struggle to capture nuanced sentiment-specific features and lack interpretability. To address this, we propose a two-stage approach. In the pre-training stage, we modify masked language modeling within a BERT-base-uncased architecture by integrating three objectives: aspect-aware contrastive learning, aspect prediction, and sentiment polarity prediction. This fosters the learning of robust, sentiment-sensitive contextual representations. Training is conducted on large-scale Yelp (1.5M reviews) and Amazon (0.51M reviews) datasets, ensuring strong domain adaptation. In the fine-tuning stage, we introduce a neuron-level optimization strategy that selectively refines dormant neurons. Using sentiment attribution scores from integrated gradients, we identify and update only neurons with low attribution scores via a gradient freezing strategy. Neuron activation analysis reveals that sentiment-relevant information is concentrated in later layers, where dormant neurons outnumber salient ones. Fine-tuning these neurons improves classification and reorganizes activations, with 39.31% of dormant neurons transitioning into salient predictors. Extensive experiments on Semeva‎l 2014 (Lap-14, Res-14) and MAMS confirm that our targeted fine-tuning approach outperforms full fine-tuning and state-of-the-art methods regarding accuracy and F1-macro scores. Ablation studies validate each loss component’s contribution, while neuron analysis highlights how selective fine-tuning enhances interpretability. By leveraging underutilized neurons, this framework advances performance and model transparency, offering insights into efficient, interpretable fine-tuning strategies for natural language processing applications.

تحليل احساسات مبتني بر جنبه , مدلهاي زباني پيشآموزش يافته , يادگيري كنتراستيو , قابليت تفسير , تنظيم دقيق در سطح نورون

Aspect-Based Sentiment Analysis , Pre-trained Language Models , Contrastive Learning , Interpretability , Neuron Level Fine-tuning

Muhammad Hasnain Khan

Dr. Behrouz Minaei