25545

طراحي و پياده‌سازي لايه‌ي كانولوشن در يك شبكه عصبي عميق با استفاده از ساختار متقاطع ممريستور

كارشناسي ارشد

مهندسي برق الكترونيك

1397

1400/08/11

دكتر شهريار براذران شكوهي

مهندسي برق

هدف كلي شبكه‌هاي عصبي كانولوشني استخراج ويژگي از داده‌هاي ورودي وكلاس‌بندي دقيق آن‌هاست. در اين شبكه‌ها استخراج ويژگي توسط لايه كانولوشن انجام مي‌شود. براي رسيدن به دقت بيش‌تر در كلاس‌بندي بايد تعداد لايه‌هاي كانولوشن را افزايش داد اما از آن‌جا كه عمليات كانولوشن نيازمند محاسبات زيادي است و تعداد زيادي از منابع محاسباتي يك شبكه‌ كانولوشني را اشغال مي‌كند، پياده‌سازي سخت‌افزاري آن به يك چالش تبديل شده است. مهندسي نئورومورفيك حوزه جديدي است كه از حافظه‌ و واحدهاي پردازشي توزيع شده تشكيل شده است و يكي از اهداف آن پياده‌سازي معماري‌هاي الهام گرفته از مغز انسان بر روي تراشه‌هاي الكترونيكي است. در معماري نئورومورفيك مي‌توان با استفاده از ساختار متقاطع ممريستور عمليات كانولوشن را با سرعت بيش‌تر و توان و فضاي مصرفي ‌كم‌تري نسبت به معماري ون‌نيومن انجام داد. در اين تحقيق هدف طراحي يك مدار كانولوشن در يك شبكه عصبي عميق با استفاده از ساختار متقاطع ممريستور و سپس استفاده از آن در يك شبكه CNN مبتني بر ممريستور است. لايه كانولوشن طراحي شده داراي مزايايي از جمله انجام عمليات كانوشن به صورت تمام موازي و يكپارچه، قابليت هرس كردن شبكه، تعداد ممريستور كم‌تر نسبت به ساير روش‌هاي تمام موازي و ساختار تمام ممريستوري است. لايه‌هاي ادغام و تمام متصل نيز كاملا مبتني بر ممريستور هستند و به صورت تمام موازي عمل مي‌كنند. شبيه‌سازي شبكه با استفاده از نرم‌افزار‌هاي MATLAB و HSPICE صورت گرفته است. در طي شبيه‌سازي توان عملياتي لايه كانولوشن براي ورودي‌هاي 8 بيتي (TOPS/W) 9/78 محاسبه شده است. با انجام روش آموزش تراشه در حلقه بر روي شبكه سخت‌افزاري مبتني بر ممريستور، دقت نهايي به 96/8 درصد رسيد و توان مصرفي كل شبكه براي انجام يك بار عمل كلاس‌بندي‌ 0/604 وات محاسبه شد.

1400/09/01

Design and implementation of a convolution layer in a deep neural network using memristor crossbar array

11/2/2022 12:00:00 AM

The main purpose of convolution neural networks is feature extraction and classification. In these networks, feature extraction is performed using the convolution layer. To achieve more accurate classification, the number of convolution layers should be increased. convolution operations require a lot of computation and occupy a large number of computing resources of a CNN, then its hardware implementation has become a challenge. Neuromorphic engineering is a new field consisting of distributed memory and processing units. one of its goals is to implement human brain-inspired architectures on electronic chips. In neuromorphic architecture, convolution operations can be performed using the memristor crossbar array with higher speed, less power and less space consumption than Von Neuman architectures. In this study, the aim is to design a convolution circuit in a deep neural network using the memristor crossbar array and use it in a memristor-based CNN network. The designed convolution layer has advantages such as performing parallel and integrated convolution operations, network pruning capability, less number of used memristors than other parallel methods and full memristory structure. The pooling and fully connected layers are also completely memristor-based and operate in full parallel. Network simulation was performed using MATLAB and HSPICE softwares. During simulation, the convolution layer throughput for 8-bit inputs was calculated 9.78 (TOPS / W). By performing the chip in loop training method on the memristor-based hardware network, the final accuracy reached 96.8% and the power consumption for one classification operation was calculated to be 0.604 watts.

نئورومورفيك , ممريستور , لايه كانولوشن , شبكه عصبي كانولوشن , ساختار متقاطع ممريستور

Neuromorphic , Memristor , Convolution layer , Convolution neural network , Memristor crossbar array