چالش مداوم مديريت دستي شبكه‌هاي چندفروشنده‌اي نيازمند خودكارسازي پيكربندي‌هاي شبكه است و از آنجايي كه «توهم مدل» مي‌تواند پيكربندي‌ها را كم‌دقت‌تر كند، مدل‌هاي زبان بزرگ (LLM) به رفع اين چالش كمك خواهند كرد. اين تحقيق بر اساس اين ايده است كه LLMها بايد با ترجيحات و ارزش‌هاي فردي كاربران (از طريق SFT و RLHF) همسو شوند و ما بايد از آزمون‌هاي ايستا و مبتني بر فرض به سمت چارچوب‌هاي چندبعدي حركت كنيم كه همزمان امنيت و عملكرد كد توليد شده (CWeva‎l) و توانايي آن در تعامل با APIهاي خارجي (SEAL) را ارزيابي مي‌كنند. اين حوزه همچنين با چالش‌هاي زباني و فرهنگي روبرو است زيرا سوگيري زباني و خطاهاي ترجمه در معيارها مي‌توانند به شدت بر نتايج ارزيابي تأثير بگذارند و به استراتژي‌هاي دقيق سازگاري فرهنگي نياز است. اين مطالعه از تركيبي از روش‌ها و فناوري‌هاي سطح بالا براي رسيدگي به اين مسائل استفاده مي‌كند. با تركيب LLMها با برنامه‌ريزي كلاسيك و استفاده از نمايش‌هاي ASP و PDDL، مشكلاتي كه LLMها در مديريت پرس‌وجوهاي ناقص دارند، برطرف مي‌شود. عامل‌هاي وب را مي‌توان با LLMها به عنوان مدل‌هاي جهاني كه فرآيندهاي برگشت‌پذير را شبيه‌سازي مي‌كنند (WebDREAMERS) بهبود بخشيد. سيستم‌هاي RouteLLM و چندعاملي براي يافتن تعادل بين هزينه و عملكردي كه با گذشت زمان تغيير مي‌كند، استفاده مي‌شوند. در ارزيابي، نقش LLMها از ناظران منفعل به منتقدان فعال تبديل مي‌شود و معيارهاي ارزيابي خود-مشتق را تدوين مي‌كنند، در حالي كه از سوگيري خودشيفتگي كه قابليت اطمينان ارزيابي‌هاي مبتني بر LLM را به عنوان يك استاندارد قطعي به خطر مي‌اندازد، آگاه هستند. اين تحقيق، چارچوب IRAG را به عنوان يك راه حل اوليه براي مقابله با مسئله توهم از طريق يك ماژول بازيابي مبتني بر قصد و يك مكانيسم تأييد معنايي دو مرحله‌اي پيشنهاد مي‌كند. آزمايش‌ها به طور قطعي نشان داده‌اند كه اين رويكرد تركيبي ضروري است. نتايج اوليه نشان داد كه اعتبارسنجي معنايي اصلاً كار نمي‌كند (دقت 0.0٪)، حتي اگر ساختار زباني به خوبي كار كند. اين بدان معناست كه اضافه كردن يك موتور سياست OPA براي اطمينان از بالا بودن دقت كلي قصد (95.0٪) و كارايي بالا مهم است. در نهايت، حتي اگر LLMهايي كه از استراتژي‌هاي ReAct استفاده مي‌كنند ممكن است در شبيه‌سازي‌هاي گفتگوي وظيفه‌گرا (TOD) از موفقيت سنتي به خوبي عمل نكنند، اما افراد را در زندگي واقعي شادتر مي‌كنند. واژه‌هاي كليدي: مدل‌هاي زبان بزرگ (LLM)، ترجمه پيكربندي شبكه، اعتبارسنجي معنايي، موتور سياست OPA بهره‌وري منابع

1404/12/05

eva‎lUATING LLMS IN TRANSLATING USER INTENTS INTO NETWORK CONFIGURATIONS

2/15/2026 12:00:00 AM

The ongoing challenge of manually managing multi-vendor networks requires automation of network configurations, an‎d since "model hallucination" can make configurations less accurate, Large Language Models (LLMs) will help to address this challenge. The research is based on the idea that LLMs need to be aligned to the individual preferences an‎d values of users (via SFT an‎d RLHF), an‎d we have to move away from static, assumption-based tests towards multidimensional frameworks that simultaneously assess the security an‎d functionality of generated code (CWeva‎l) an‎d its ability to interact with external APIs (SEAL). The field also faces linguistic an‎d cultural challenges because linguistic bias an‎d translation errors in metrics can strongly influence the results of eva‎luation, an‎d careful cultural adaptation strategies are needed. The study utilizes a combination of methods an‎d high-level technologies to address these issues. By combining LLMs with classical planning an‎d using ASP an‎d PDDL representations, the problems that LLMs have with han‎dling incomplete queries are fixed. Web agents can be improved with LLMs as world models that simulate reversible processes (WebDREAMERS). RouteLLM an‎d multi-agent systems are used to find a balance between cost an‎d performance that changes over time. In eva‎luation, the role of LLMs transitions from passive observers to active critics, formulating self-derived eva‎luation criteria, while remaining aware of the narcissistic bias that compromises the reliability of LLM-based assessments as a conclusive stan‎dard. The research proposes the IRAG framework as a primary solution to tackle the hallucination issue through an intent-supported retrieva‎l module an‎d a two-stage semantic verification mechanism. Experiments have definitively demonstrated that this hybrid approach is essential. The first results showed that semantic validation didnʹt work at all (0.0% accuracy), even though the linguistic structure worked well. This means that adding an OPA policy engine is important to make sure that overall intent accuracy is high (95.0%) an‎d that efficiency is high. Finally, even though LLMs that use ReAct strategies might not do as well in task-oriented dialogue (TOD) simulations of traditional success, they make people happier in real life.

مدل‌هاي زبان بزرگ (LLM , ترجمه پيكربندي شبكه , اعتبارسنجي معنايي

: Large Language Models (LLMs) , ), Network Configuration Translation , Semantic Validation

Aws Al-Hayali

DR.NASSER MOZAYANI