محمدحسين عباسپور

Inferencing LLMs in a multi-agent system an‎d analysing its results

مدل‌هاي زباني بزرگ به دليل توانايي‌هاي چشمگير خود، از جمله قابليت گفتگو و دنبال‌كردن بحث، به ابزارهاي كليدي در بسياري از حوزه‌ها تبديل شده‌اند. در اين پژوهش، ما يك سيستم چندعاملي مبتني بر LLM براي حل مسئله طبقه‌بندي احساسات طراحي و ارزيابي كرده‌ايم و براي بررسي عملكردهاي مختلف آنها، آزمايش‌هاي مختلفي با هدف يافتن چالش‌ها و نقاط ضعف احتمالي بر روي اين سيستم اجرا كرديم و نتايج هر بخش را ارائه داده‌ايم. اين سيستم متشكل از چند عامل LLM است كه هر يك با مجموعه‌اي از دستورالعمل‌هاي يكسان و ساختار خروجي مشخص پيكربندي شده‌اند. عامل‌ها به‌صورت مستقل برچسب‌هاي احساسي را براي يك متن مشخص پيش‌بيني مي‌كنند. در صورت وجود اختلاف ميان نتايج آن‌ها، يك فرآيند مناظره ساختاريافته آغاز مي‌شود كه طي آن عامل‌ها با درنظر گرفتن استدلال‌ها و خروجي‌هاي ساير عامل‌ها، پيش‌بيني‌هاي خود را به‌روزرساني مي‌كنند. اين فرايند تا رسيدن به اجماع يا اتمام حداكثر تعداد دورهاي مناظره ادامه مي‌يابد. چارچوب پيشنهادي همچنين شامل سازوكارهايي براي ارزيابي صحت، توافق، و اثربخشي مناظره و نيز استخراج مطمئن نتايج عامل‌هاست. در طي اين پژوهش، به چالش‌هايي از جمله طول پاسخ عامل‌ها، پرامپت اوليه و لجاجت عامل‌ها در مناظره پرداخته مي‌شود والگويي تكرارپذير براي پژوهش‌هاي آينده در زمينه مناظره چند عاملي در NLP فراهم ميشود.

مدل‌هاي زباني , LLM , سيستم چند عامله , مناظره , دسته بندي متن