10187

بهره گيري از هدوپ در تحليل كلان داده هاي خانواري

99

دكتر رضا انتظاري ملكي

استاد داور : دكتر مرضيه ملكي مجد

كلان داده از منابع مهم در دنياي امروز است، كه با استفاده از تجزيه و تحليل هاي گوناگوني كه روي آن انجام مي گيرد اطلاعات و دانش ارزشمندي از آن بدست مي آيد.طي دو دهه ي اخير حجم اين داده ها در حال گسترش بوده و رفته رفته برحجم آن نيز افزوده ميشود. چارچوب هدوپ براي توزيع و پردازش كلان داده يكي ازپركاربردترين ابزار است كه با زبان برنامه نويسي جاوا نوشته شدهاست. هدوپ يك ابزار مناسب است كه اين امكان را مي دهد تا پردازش برروي مجموعه داده هاي بزرگ با خوشه بندي انجام پذيرد و مديريت داده هاي نيمه ساختاريافته و ساختارنيافته را تسهيل كند. در ايران نيز همچون كشورهاي ديگر هر ساله در حوزه آمارهاي رسمي كشور داده هاي خانواري جمع آوري مي شود. اين داده ها حاوي اطلاعات ارزشمندي است كه نتايج آن فقط در سطح كل كشور و استان منتشر مي شود و تاكنون در سطح شهرستان نتايج و اطلاعاتي استخراج نشده است. صفات موجود در داده هاي خانواري شامل هزينه هاي خوراكي، تحصيل و آموزش، بهداشت و سلامت، هزينه ارتباطات، دسترسي به اينترنت، فعاليتهاي شغلي، درآمدي و نظاير آن است كه استخراج اطلاعات آن در سطح شهرستان هاي كشور مي تواند كمك شاياني به ارزيابي و تحليل شاخص هاي اجتماعي و اقتصادي كند كه تاكنون انجام نشده است.هدف اين تحقيق استفاده از چارچوب هدوپ براي توزيع و پردازش داده هاي خانواري در سطح شهرستان هاي استان است، سپس اطلاعات استخراج شده براي تجزيه و تحليل مورد استفاده قرارمي گيرد.

12/1/2021 12:00:00 AM

73299

1400/09/20

Hadoop Application in Analysis of Households Big Data

چارچوب هدوپ , سيستم فايل توزيع شده , نگاشت كاهش , كلان داده , داده هاي خانواري

Hadoop framework , Hadoop Distributed File System , MapReduce , Big Data , Household Data