19472

۱۹۴۷۲

حافظهانجمني بر اساس شبكه عصبي اسپايكي

دكتري

الكترونيك

۱۳۹۲

۱۳۹۷/۷/۴

دكتر كريم محمدي

دكتر شهريار برادران شكوهي

برق

پردازش الهام گرفته شده از مغز يك رهيافت نوظهور جهت ارائه يك ابزار پردازشي با استفاده از قابليت هاي مغز است. معماري اين ابزارهاي پردازشي با معماري پردازشي وان-نيومن متفاوت هستند. اين معماري ها مبتني بر عناصر پردازشي توزيع شده (نرون) و حافظه توزيع شده (سيناپس) است. يكي از عمليات شناختي مهم در مغز عمليات مربوط به حافظه انجمني عصبي است كه قادر است حجم زيادي از اطلاعات را بخاطر سپرده و آنها را بدون خطا بازيابي كند. تاكنون چندين معماري براي حافظه انجمني عصبي معرفي شده است، از جمله حافظه انجمني هاپفيلد، دوسويه و تنك . با اين حال، مشكل حافظه انجمني هاپفيلد و دوسويه ظرفيت پايين آنها است. اگر چه حافظه انجمني تنك داراي ظرفيت بالايي است، با اين حال همانند حافظه انجمني هاپفيلد و دوسويه داراي نرونهاي باينري است كه با عنوان حافظه انجمني عصبي كلاسيك شناخته مي شوند. از سوي ديگر، حافظه انجمني عصبي اسپايكي كه بر مبناي نرون هاي اسپايكي است، پيشرفت زيادي نداشته است و تنها مدل هاي اوليه اي براي حافظه انجمني هاپفيلد اسپايكي و دوسويه اسپايكي ارائه شده است. در اين رساله يك حافظه انجمني عصبي اسپايكي با الهام گرفتن از ساختار نئوكورتكس مغز ارائه مي گردد كه علاوه بر اينكه داراي ظرفيت بالايي بوده، در برابر نويز و حذف داده مقاوم است. مدل ارائه شده با عنوان حافظه سازماندهي شده ستوني (COM ) نام گذاري شده است كه اين نام گذاري نشان دهنده ساختار آن است. ساختار آن تركيبي از چند شبكه عصبي WTA است كه نرون هاي آنها به يكديگر پيوند داده شده است. به صورت تئوري، ظرفيت COM با تعداد نرون هاي هر WTA رابطه نمايي به صورت n^N دارد. (n برابر تعداد نرون و N برابر تعداد WTA است). همچنين مقاوم بودن COM نسبت به نويز و حذف داده به صورت تئوري تحليل و به صورت شبيه سازي نشان داده شده است. مقاوم بودن ناشي از سيناپس هاي تحريكي افقي بين WTAها است. به طور ميانگين دقت بازيابي COM براي يك مجموعه داده هاي باينري در حضور نويز 1.3 برابر بهتر از WTAهاي مجزا (بدون در نظر گرفتن سيناپس هاي تحريكي افقي) است. همچنين دقت بازيابي COM نسبت به WTAهاي مجزا براي مجموعه داده هاي حقيقي در حضور نويز 1.1 برابر، در حضور نويز و حذف 25 درصد از داده‌ها 1.5 برابر و در حضور نويز و حذف50 درصد از داده‌ها 2.2 برابر بهتر است. علاوه بر ارائه تئوري حافظه انجمني COM، يك معماري سخت افزاري جهت پياده سازي COM ارائه مي شود. طراحي مدار در سه سطح صورت مي گيرد، سطح نرون و سيناپس، سطح شبكه عصبي WTA و سطح حافظه انجمني COM. ابتدا يك نرون اسپايكي با توان مصرفي پايين ارائه مي شود كه توان استاتيك آن از 182 pW و انرژي متوسط مصرفي آن از pJ/spike ۴.۳ است. توان مصرفي نرون پيشنهادي كمتر يا در حدود نرون هاي كم توان ديگر است. ويژگي ديگر اين نرون، سازگاري كامل آن با ساختار COM است. جهت پياده سازي سيناپس ها از ساختار متقاطع ممريستور استفاده مي شود كه داراي ابعاد كمتر و توان مصرفي كمتري نسبت به سيناپس هاي مبتني بر CMOS است. نرون پيشنهادي با مدار سيناپسي تركيب شده و يك مدار براي شبكه عصبي WTA و در نهايت حافظه انجمني COM ارائه مي شود. مدار حافظه انجمني COM مورد شبيه سازي قرار گرفته و ظرفيت و مقاوم بودن آن با نمونه شبيه سازي نرم افزاري مقايسه شده است. دقت بازيابي سخت افزار COM و شبيه سازي نرم افزاري آن براي يك مجموعه داده تصادفي به طور ميانگين به ترتيب 0.94 و 0.96 است. واژه‌هاي كليدي: حافظه انجمني عصبي، شبكه عصبي اسپايكي، نئورومورفيك، ممريستور.

1397/07/21

associative memory based on spiking neural network

9/26/2018 12:00:00 AM

Brain-inspired computing is an emerging field, which aims to use the capabilities of the human brain for information processing. It offers a new computing architecture beyond the Von Neumann architecture that is based on the distributed processing units (neurons) and distributed memories (synapses). One of the main cognitive tasks of the brain is associative memory task. The brain is remarkable for large memory capacity and robust memory retrieval. Already, several architectures for associative memory has been introduce such as Hopfield Neural Network (HNN), Bidirectional Associative Memory (BAM), and Clique-Based Neural Network (CBNN). However, HNN and BAM suffer from the low storage capacity. Although the capacity of CBNN is large, it is based on the binary neurons which is known as a classical associative memory. On the other hand, spiking associative memory has not been widely developed, but simple models of the spiking HNN and spiking BAM have been introduced already. These models also suffer from the low capacity similar to their classic counterparts. In this thesis, a spiking associative memory with large capacity and robust retrieval is introduced that is inspired by the cortical structure. The proposed model is called Columnar-Organized Memory (COM). Its architecture is based on the spiking winner-take-all (WTA): There are lateral excitatory connections between the WTAs and lateral inhibitory connections between the neurons of a WTA. In theory, the capacity of COM is exponentially related to the number of the WTA neurons. In addition, the robustness of the COM is related to the excitatory connections between the WTAs. The average retrieval rate of COM for a noisy binary dataset (English Alphabet) is 1.3 times more than the individual WTAs without excitatory connections. In addition, the average retrieval rate of COM is 1.1 times better than the retrieval rate of the individual WTAs for a noisy real-valued dataset. This ratio is 1.5 and 2.2 for a noisy real-valued dataset with 25% and 50% erased data, respectively. Furthermore, a hardware architecture is proposed to implement COM. The hardware is presented at three design levels. At the level I, a low-power circuit of a leaky integrate and fire neuron is introduced that is compatible with the architecture of COM. It consumes 4.3 pJ/spike, and its static power is 182 pW. In addition, the memristor crossbar array is used to design the synaptic circuit. At the level II, the assembly of the proposed neuron and a single memristor crossbar array are used to implement a WTA module and its operation is deliberated through a dataset. At the level III, a COM hardware architecture is developed using the combination of the WTA modules and memristor crossbar arrays. Random messages are applied to evaluate the message retrieval of the COM hardware. The average of message retrieval rate of the hardware and software-based simulation is about 0.94 and 0.96, respectively Keywords: Associative memory, Spiking Neural Network, Neuromorphic, Memristor.