زهرا دهقان

Developing benchmark data to eva‎luate the performance of code generation language models

مدل هاي زباني انواع مختلفي دارند. يكي از مهم ترين انواع آن ها، مدل هاي زباني توليد كد مي باشند. اين مدل ها به سه حوزه اصلي توليد كد از زبان طبيعي، توليد زبان طبيعي از كد و توليد شرطي كد از زبان طبيعي تقسيم مي شوند. توليد زبان طبيعي از كد شامل نوشتن نظر در رابطه با كد و يا يك متن خلاصه در توصيف كد است، در حالي كه توليد كد شامل توليد كد شرطي و توليد توابع مرتبط با كلاس ها مي شود. تاكنون داده معيار هاي مختلفي براي ارزيابي اين جنبه ها ارائه شده اند كه هر يك بر معيارهاي خاصي تمركز دارند. بااين حال، اين داده معيار ها اغلب بسيار حجيم بوده و جنبه هاي خاصي از عملكرد مدل ها را مي سنجند، درحالي كه يك چارچوب جامع كه تمامي جنبه هاي توليد كد را دربرگيرد، كمتر توسعه يافته است. هدف اين پژوهش ارائه يك داده معيار جامع است كه به طور يكپارچه عملكرد مدل هاي زباني را در تمامي حوزه هاي توليد كد ارزيابي كند. اين داده معيار ، علاوه بر استانداردسازي معيارهاي ارزيابي، امكان مقايسه دقيق تر مدل هاي مختلف را فراهم كرده و به بهبود كيفيت مدل هاي زباني در حوزه توليد كد كمك مي كند.

يادگيري رقابتي , ارزيابي مدل هاي زباني توليد كد , داده معيار