بیگ دیتا و چالش های فرارو

کلان داده چالش های بسیاری را سر راه ما قرار داده است. یکی از ابتدایی ترین چالش های بیگ دیتا این است که داده را بفهمیم و اولویت بندی مناسبی روی آنچه وارد سیستم کلان داده سازمان می­شود داشته باشیم. داده ها روز به روز در حال بیشتر شدن هستند به طوریکه هزینه بایگانی آنها بسیار گزاف می­باشد.

سازمان ها هنوز درگیر این موضوع هستند که داده های خود را تا چه مدت باید نگهداری کنند. این یک سوال اساسی است چرا که بعضی داده ها در تصمیم گیری های دراز مدت موثر هستند در صورتیکه دیگر داده ها تنها در تصمیم گیری های کوتاه مدت کارآیی دارند.

همچنین یک سطح بالاتر و حرفه ای تر نیز برای کار با این سیستم ها و مدیریت آنها نیاز است چرا که سیستم های موجود در کلان داده ها هنوز خیلی دارای رابط های کاربری ساده ای نیستند. این سازمان ها همچنان نیازمند فارغ التحصیلان علوم کامپیوتر برای مدیریت و هدایت ابزارها و سیستم های کلان داده خود هستند.

در ادامه چالش هایی را که به هنگام پیاده سازی و تجزیه و تحلیل کلان داده ها با آن رو­به­‌رو می­شویم را تشریح خواهیم نمود.

چالش های بیگ دیتا مرتبط با گوناگونی و تنوع داده

اولین دسته از چالش های کلان داده چالش های مربوط به گوناگونی و تنوع داده‌ها است که در ادامه توضیح می‌دهیم.

ذخیره سازی

منطق می­گوید که ذخیره سازی داده های بزرگ به توجه، مراقبت و رسیدگی زیاد نیاز دارد و این یک حقیقت است.

مدیریت و سازمان دهی

داده های مفید تنها به ذخیره سازی و در دسترس بودن نیاز ندارند، اما سازمان دهی آنها باعث می­شود داده ها آسان­تر و سریع تر پیدا شوند. بدین ترتیب، دانشمندان داده و کاربران دیگر می­توانند این اطلاعات را بیابند، تجزیه و تحلیل اعمال کنند به شیوه ای که هم کارآمد و هم اندازه گیری شده باشد.

نظارت

اطمینان از اینکه داده ها به درستی استفاده می­شوند، بررسی شیوه ای که داده ها به کار گرفته و استخراج می‌شوند را نظارت می‌گویند.

دسترس پذیری داده ها

اساسا داده ها در دسترس هستند اما پوشش و جامعیت آنها اغلب کامل نیست. اگر در یک فرآیند خوب، تصمیم‌­گیری براساس داده های بد یا ناقص باشد، تصمیمات بد و ناقص حاصل خواهد شد.

سرعت داده

افزایش کاربران، تعاملات و محتوای تولید شده. این موضوع برای تمام قسمت‌های مدیریت داده چالش محسوب می­شود. هر دو لایه ذخیره سازی و لایه کاوش باید بسیار سریع و مقیاس پذیر باشند.

یکپارچه سازی داده

اغلب داده ها از یک منبع واحد تولید نمی­شوند. گوشی های تلفن همراه، تبلت ها، لپتاپ ها و …می­توانند قالب ها و مدل داده ای مختلفی را تولید کنند.

سایر چالش های مرتبط با تنوع داده

• رشد داده های بدون ساختار
• کشف داده های با کیفیت از مجموع داده های وب
• تمام سازمان ها داده محور نیستند و همچنین همه ی آنها به درک کاملی از مزایای تجزیه و تحلیل نرسیده اند.
• جمع آوری(چگونه داده ها را جمع آوری کنیم)

چالش های بیگ دیتا مرتبط با تحلیل داده

• پردازش گراف یک چالش بسیار بزرگ در فناوری محسوب می­شود.
• حجم زیاد داده های موقت در مسئله کاوش؛ مدیریت این نوع داده ها و نگه داری مناسب آنها برای بهینه کردن سرعت محاسبات پی‌­در­پی و بسیار سنگین تحلیلی، امری بسیار چالش برانگیز است.
• مشکلات ابزاری در جهت ذخیره سازی، پردازش و بصری سازی و تصویرنگاری داده ها
• طراحی یک سیستم مقیاس پذیر برای کاوش در بستر مورد نظر
• چالش های مرتبط با روش های موازی سازی داده و موازی سازی وظایف برای تحلیل کلان داده
• سرعت و توان پردازش داده ها
• شاخص گذاری و پرس و جوی داده

پیدا نمودن موردهای کاربری درست

اغلب، تجزیه و تحلیل کلان داده ها به عنوان “پیدا کردن یک سوزن در انبار کاه” معرفی شده است. اگرچه تصور جالبی است ولی می­تواند گمراه کننده باشد.

آنچه در این جا مهم است پیدا کردن یک مورد کاربری با بالاترین شانس موفقیت است که در شرایط کنونی منجر به رسیدن به نتیجه کسب و کار گردد. بنابراین ما در اینجا به دنبال یک مورد استفاده می­گردیم که دارای شرایط زیر باشد:

• انواع داده ای محدودی داشته باشد.
• داده ها توسط کاربران کسب و کار شناخته شده باشند.
• ارزش داده ها در زیرساخت کلان داده ها از بین نرود.
• دید واضح و روشنی را بر روی خروجی و نتیجه حاصل از آنها به دنبال داشته باشد.
• نتیجه به طور موًثر مفید باشد.

با توجه به شرایط فوق ، واضح است که موفقیت به شدت تحت تاًثیر کاربران کسب و کار قرار دارد.

چالش های امنیتی

یکی از چالش های کلیدی که در کلان داده ها با آن مواجه هستیم مسئله امنیت است. همزمان با افزایش حجم و تنوع کلان داده ها چالش های امنیتی نیز متناسب با آن رشد بیشتری خواهد داشت. اگر یک شکاف امنیتی در داده های عظیم اتفاق بیفتد منجر به خسارات بزرگ­تری خواهد شد.

در گذشته کلان داده ها دغدغه ی دولت ها و صنایع بزرگ تجاری بود و از این رو این سازمان ها زیر ساخت هایی جدای از شبکه عمومی برای ذخیره و پردازش داده های خود در اختیار داشتند. اما امروزه کلان داده ها به راحتی از طریق زیر ساخت های ابری در اختیار همگان قرار می­گیرند. از طرفی زیرساخت های نرم افزاری مانند هدوپ و اسپارک  این امکان را برای توسعه دهندگان ایجاد می­کنند تا بر روی هزاران گره به صورت موازی پردازش انجام دهند.

در نتیجه با ترکیب این حوزه ها چالش های جدید امنیتی برخاسته از ترکیب زیرساخت های متفاوت، میان ابزارهای پردازشی و محیط های ذخیره سازی ایجاد شده است. اگرچه کلان داده به دلیل مواجهه با چالش های امنیتی توجهات زیادی را به سمت خود جلب کرده است اما در بسیاری از مواقع تجزیه و تحلیل داده های عظیم می­تواند به سازمان ها کمک کند تا امنیت را در سیستم خود افزایش داده و نفوذپذیری به سیستم را کنترل کنند. در این راستا سیستم های ارائه شده می­توانند با تجزیه و تحلیل داده های عظیم، مانیتورینگ شبکه و مدیریت اطلاعات امنیتی و رویدادهای مرتبط با آن نقاط ضعف سیستم ها را به خوبی کشف کنند.

حریم خصوصی داده ها

کلان داده هایی که امروز تولید می­کنیم حاوی حجم زیادی از اطلاعات زندگی شخصی افراد که بایستی در حریم خصوصی محافظت شوند، هستند. در حال حاضر هم اطلاعات خصوصی افراد را فاش می­کنیم و هم از فضای راحتی که برنامه ها و سرویس های مرتبط با کلان داده ها فراهم کرده اند استفاده می­کنیم.

تبعیض اطلاعاتی

در حال حاضر بانک ها براساس رده بندی اعتبار افراد، تصمیم می­گیرند که به چه افرادی وام اعطا کنند و سازمان های بیمه نیز شدیدا به داده ها اتکا کرده اند. باید انتظار داشته باشیم که اطلاعات با جزئیات گسترده تری ارزیابی و تحلیل شوند و اینکه در اختیار داشتن اطلاعات فردی موجب سخت تر شدن معیشت افرادی که از منابع و دسترسی به اطلاعات محدودتری برخوردارند نمی­شود، اطمینان حاصل کنیم.

چالش های بیگ دیتا در ایران

یکی از چالش ها ، مقاومت مدیران در برابر فناوری های نوین کلان داده و علاقه آنها به روش های متمرکز و مبتنی بر سخت افزارهای گران قیمت است. یکی از مزایای فناوری های نوین در زمینه کلان داده، مقیاس پذیری آنها  با کمک سخت افزارهای متعدد ضعیف و ارزان قیمت است. برخی علل علاقه مدیران به راه حل های سنتی و مبتنی بر سخت افزارهای متمرکز و گران قیمت دانش ناکافی آنها در زمینه فناوری های نوین و عدم ریسک پذیری آنها است.

از طرف دیگر، در ایران تجارب موفق زیادی دیده نشده است. به همین دلیل استفاده از شرکت های مشاور و ارائه کنندگان خدمات فنی زیرساختی، الگوی رایجی در بازار تولید نرم افزار کشور نیست. با توجه به نوظهور بودن حوزه داده های عظیم، این مشکل برای شرکت های ارائه کننده زیرساخت کلان داده به طور اخص وجود دارد. کم تجربگی بازار تولید نرم افزار در مواجهه با این مدل کسب و کار، نیاز به فرهنگ سازی در این زمینه را مشهود می­سازد.

نتیجه گیری

مواجهه با چنین چالش هایی، بخشی از مشکلات کلان داده ها محسوب می­شوند. بدون شک اختلافات گسترده­‌ای بین دانشمندان و متفکرین وجود دارد و افرادی که قصد  استفاده از کلان داده‌ها را دارند، باید از مخاطرات و ایرادات این کار با خبر شوند. در غیر این صورت، کسب و کارها با صدمات جدی روبه­‌رو شده و در ادامه بحران های مالی و جریمه های سنگین را به همراه خواهد داشت.

در ادامه به شما پیشنهاد می‌کنیم برای کسب اطلاعات بیشتر مقاله Top Big Data Challenges را نیز مطالعه کنید تا با چالش‌های بیگ دیتا بیشتر آشنا شوید.