12707

بررسي روش هاي بهينه سازي شتاب دهنده هاي ترنسفورمر

1401

حاكم بيت الهي

تازه‌ترين پيشرفت‌ها در طراحي معماري‌هاي شبكه عصبي به سمت مدل‌هاي ترانسفورمر پيش رفته‌اند. اين مدل‌ها دقت بسيار بالاتري را در طيف گسترده‌اي از كاربردها در حوزه بينايي ماشين، پردازش زبان طبيعي و شناسايي گفتار به دست مي‌آورند. اين روند در چند سال اخير از زمان معرفي اوليه مدل‌هاي ترانسفورمر پايدار بوده است. با اين حال، مقدار محاسبات و پهناي باند مورد نياز براي انجام استنتاج مدل‌هاي ترانسفورمر اخير به نرخ قابل توجهي افزايش يافته است و اين امر باعث مشكل در استفاده از آن‌ها در برنامه‌هاي حساس به تاخير شده است. به همين دليل، تمركز بيشتري بر بهينه‌سازي مدل‌هاي ترانسفورمر وجود دارد، با روش‌هايي كه از تغيير طراحي معماري تا توسعه شتاب‌دهنده‌هاي خاص ترانسفورمر مي‌تواند متغير باشد. در اين پژوهش ما به بررسي روش‌هاي مختلف براي استنتاج بهينه ترانسفورمر مي‌پردازيم، از جمله: (1) تجزيه و تحليل نقاط ضعف در معماري‌هاي ترانسفورمر موجود و تشابه‌ها و تفاوت‌هاي آن‌ها با مدل‌هاي پيشين كانولوشني؛ (2) تاثير معماري ترانسفورمر بر سخت‌افزار، شامل تاثير عمليات غيرخطي مانند نرمال‌سازي لايه، Softmax و GELU و همچنين عمليات خطي روي طراحي سخت‌افزار؛ (3) روش‌هاي بهينه‌سازي يك معماري ترانسفورمر ثابت.

11/18/2023 12:00:00 AM

80966

1402/09/03

Investigating optimization methods of transformer accelerators

مدل‌هاي ترانسفورمر , مكانيزم توجه , شتاب‌دهنده‌هاي شبكه‌هاي عصبي عميق , استنتاج كارآمد ترانسفورمر , كوانتيزه‌سازي , تنگناها در معماري ترانسفورمر

Transformer models , attention mechanism , deep neural network accelerators , efficient transformer inference , quantization , bottlenecks in transformer architecture