8208

روش هاي افزايش كيفيت داده در كلان داده ها

97-98

دكتر مقداد ميرابي

داده ها به ندرت براي خود كيفيت ايجاد مي كنند. آنها از منابع مختلف با يكديگر پيوند يافته و تركيب مي شوند، بايد در نظر داشت كيفيت داده يك چالش تكراري است. در اين گزارش، ما از مطالعه داده هاي شركت مخابراتي براي ايجاد يك مدل الگوي فرآيند كلي براي بهبود كيفيت داده ها استفاده مي كنيم. مدل الگوي فرآيند يك مجموعه اثبات شده از فعاليت ها، با هدف بهبود كيفيت داده ها با توجه به يك زمينه خاص، يك هدف خاص و يك مجموعه خاص از شرايط اوليه مي باشد. چهار الگو متفاوت براي مقابله با تغييرات در كيفيت داده هاي يك مجموعه داده ارائه مي شود و نيز به جاي پيدا كردن راه براي بهبود كيفيت داده هاي بزرگ براي هر وضعيت، يك مدل فرآيند تعريف مي گردد تا كاربران با استفاده از آن، الگوهاي عمومي اي كه مي تواند به عنوان يك مدل مرجع نيز باشد در جهت بهبود كيفيت كلان داده ها استفاده گردند. كلان داده ها در مركزِ توجه علوم مدرن و كسب و كار است، در اين دنياي مملو از تكنولوژي، داده ها به سرعت در حال افزايش هستند، اين داده ها از تراكنش هاي آنلاين، ايميل ها، ويديوها، صوت ها، متون، اسناد، تصاوير، كليك بر روي لينك ها، گزارش خطاها، پست ها، گزارش هاي جستجو، ركوردهاي اطلاعات سلامت، عمليات متقابل در شبكه هاي اجتماعي، داده هاي علمي، حسگرها، سوابق جزئيات تماس، اطلاعات اعتباري و شخصي، شناسايي فركانس راديويي، تلفن هاي همراه و نرم افزارهاي نصب شده روي تلفن هاي همراه توليد مي شوند. به اين دليل هر روز جذابيت و مقبوليت بيشتري پيدا مي كند كه با استفاده از تحليل حجم هاي بيشتري از داده ها، مي توان تحليل هاي بهتر و پيشرفته تري را براي مقاصد مختلف، از جمله مقاصد تجاري، پزشكي و امنيتي، انجام داد و نتايج مناسب تري را دريافت كرد. با سرعت خيره كننده اي در حال افزايش است. مشكلات اصلي در كار با اين نوع داده ها مربوط به برداشت و جمع آوري، ذخيره سازي، جست وجو، اشتراك گذاري، تحليل و نمايش آن ها است. در اين گزارش تجزيه و تحليل هاي مربوط به وضعيت داده ها با استفاده از پروفايل هاي داده ها و نيز روش هاي طبقه بندي براي ارائه يك تصوير درست از آن و افزايش كيفيت داده صورت پذيرفته است.

3/13/2019 12:00:00 AM

70459

1399/12/21

Methods of Increasing Data Quality in Big data

داده هاي بزرگ ، كيفيت داده ها ، كيفيت اطلاعات ، ارزيابي كيفيت ، پردازش داده ها ، نمايه سازي اطلاعات

Big Data, Data Quality, Information Quality, Quality assessment, Data processing,Data profiling