چکيده
كلان داده راه حل هايي ارائه داده است كه بتوان از طريق آن بتوان داده ساخت يافته ، نيمه ساخت يافته و غير ساخت يافته جمع آوري
شده از اشياء رو با وجود حجم زياد ، سرعت رو به رشد داده ها و سرعت تغييرات ، جمع آوري و پيش پردازش نموده و زيرساختي فراهم نموده
است كه بوسيله آن ذخيره و بازيابي اطلاعات و تحليل و پردازش سريع در همزماني هاي بالا و حجم بالاي داده و سرويس دهي در شرايط
شكست مقياس بالا فراهم شود. اصليترين چالش در ارتباط با طراحي مدلي است كه براي تجزيهوتحليل دادهها استفاده ميشود؛ و بهجاي آنكه
به دادهها در قالب يك انبار داده نگاه كنيم، بايد بهعنوان يك زنجيره تأمين نگاه كنيم. ازآنجاكه ابزارها، اين توانايي رادارند تا منابع دادهاي ساختار
نيافته و جديد بيشماري را استخراج كنند، بهزودي مشكل عدم وجود دادههاي كافي، خود را نشان خواهند داد؛ يعني شما بايد اطمينان حاصل
كنيد كه بر دو مشكل اساسي غلبه كردهايد؛ اول آنكه دادههايي كه واقعا به آنها نياز داشتهايد را از دست ندادهايد و دوم آنكه اطمينان حاصل
كنيد وقت زيادي براي دادههاي غيرضروري صرف نكردهايد. باوجود يك زنجيره تأمين دادهها، سازمانها ميتوانند به هر روشي كه لازم است،
IOT) شكافهاي موجود را پر كنند. دادههاي به دست آمده از دستگاهها ) به شكل خام لزوما براي تجزيه و تحليل مناسب نيستند. دادهها ممكن
است گم شوند يا به مرحله غنيسازي نياز داشته باشند يا اينكه برخي از مقادير براي نمايش، نيازمند تبديل باشند. (اين موضوع اغلب براي
مواردي كه نوشتن زمان و تاريخ در آنها ضروري است، موضوعيت پيدا ميكند.) اين بدان معناست كه شما براي مديريت اين غنيسازيها و
تبديلهاي مكرر، به يك مرحله پيشپردازش نياز داريد. همچنين به ذخيرهسازي دادههاي تبديل شده به همراه دادههاي منبع خام هم نياز
داريد. كلان داده چندين روش براي سازماندهي اين فرآيندها ارائه داده است.
