داده بزرگ چیست؟ معرفی کامل بیگ دیتا (Big Data)

در این مقاله قصد داریم در مورد داده بزرگ صحبت کنیم. بنابراین در ابتدا به شما خواهیم گفت داده بزرگ چیست، چه ویژگی‌هایی دارد، مزایای آن چیست و انواع آن کدامند؟ در اصل داده بزرگ یا کلان داده، داده‌هایی هستند که از تنوع و گوناگونی زیادی برخوردارند. به زبان ساده بخواهیم بگوییم، Big Data مجموعه ای از Data های بزرگتر و پیچیده‌تر است، به ویژه Big Data هایی که از منابع Data جدید منتشر می‌شوند، مورد استقبال بیشتری قرار می‌گیرند.

مجموعه Big Data ها آنقدر حجیم هستند که نرم افزار‌های سنتی پردازش Data، نمی‌توانند آن ها را مدیریت کنند. کاربرد مهم این حجم عظیم از Data این است که می‌توان از آن ها برای رفع مشکلات تجاری که قبلاً روشی برای مقابله با آن‌ها وجود نداشت، استفاده کرد.

ویژگی های داده بزرگ

کلان داده را می‌توان با ویژگی‌های زیر توصیف کرد:

• حجم
• تنوع
• سرعت
• تغییر پذیری

حجم

حجم و مقدار Data یکی از ویژگی های مهم برای داده های بزرگ می باشد. برای استفاده از Big Data، باید حجم بالایی از Data کم تراکم و بدون ساختار را پردازش کنید. Big Data ها می‌توانند داده‌‌هایی با حجم نامشخص باشند، مانند داده‌ های توییتر، تعداد کلیک در یک صفحه وب یا یک برنامه تلفن همراه، یا حتی تجهیزات دارای حسگر. برای برخی از سازمان ها. Big Data ها ممکن است شامل ده ها ترابایت Data باشند یا حتی ممکن است حجم آن تا صدها پتابایت نیز رسیده باشد.

سرعت

منظور از سرعت، سرعت بالایی است که Data دریافت می کند. برخی از محصولات هوشمند مجهز به اینترنت در زمان واقعی عمل می کنند و نیاز به ارزیابی و اقدام در زمان واقعی دارند.

تنوع و گوناگونی

تنوع به انواع مختلفی از Data موجود اشاره دارد. انواع داده های سنتی ساختار یافته بودند و به خوبی در یک پایگاه داده رابطه ای قرار می گرفتند.

چند مثال برای بیگ دیتا

در بخش زیر چند مدل بیگ دیتا آورده شده است:

بورس نیویورک

رسانه های اجتماعی

آمار نشان می‌‌دهد که هر روز 500+ ترابایت Data جدید وارد پایگاه‌ های اطلاعاتی سایت رسانه‌ اجتماعی فیس‌‌بوک می‌‌شود. این Data عمدتاً شامل آپلود عکس و ویدیو، تبادل پیام، گذاشتن نظرات و غیره می‌باشند.

موتور جت

یک موتور جت می‌‌تواند 10+ ترابایت Data در 30 دقیقه پرواز، تولید کند. با هزاران پرواز در روز، تولید Data به چندین پتابایت نیز می‌رسد.

انواع داده های بزرگ

در بخش زیر انواع Big Data آورده شده است:

• ساختار یافته
• بدون ساختار
• نیمه ساختار یافته

ساختار یافته

هر Data که می‌تواند در قالبی ثابت ذخیره، قابل دسترسی و پردازش شود به عنوان داده “ساختار یافته” نامیده می‌شود.

در طول مدت زمان، استعداد های علوم کامپیوتر در توسعه تکنیک‌ های کار با این نوع داده‌ ها (که قالب آن از قبل شناخته شده است) و همچنین استخراج ارزش از آن، موفقیت بیشتری کسب کرده است. با این حال، امروزه ما مشکلاتی را پیش‌ بینی می‌‌کنیم که اندازه این نوع Data تا حد زیادی افزایش می‌‌یابد. اندازه هایی که از چندین زتابایت شروع می‌شوند.

نکته: میدانستید 1021 بایت برابر با 1 زتابایت و یک میلیارد ترابایت، یک زتابایت را تشکیل می‌دهد.

با نگاهی به این ارقام می‌توان به راحتی متوجه شد که چرا نام Big Data بر روی آن گذاشته شده است و چالش‌های موجود در ذخیره‌سازی و پردازش آن را می‌توانید تصور کنید.

نمونه هایی از Big Data ساخت یافته

جدول «کارمند» در پایگاه داده نمونه‌ ای از داده‌ های ساختار یافته است.

Employee_ID	Employee_Name	Gender	Department	Salary_In_lacs
2365	Rajesh Kulkarni	Male	Finance	650000
3398	Pratibha Joshi	Female	Admin	650000
7465	Shushil Roy	Male	Admin	500000
7500	Shubhojit Das	Male	Finance	500000
7699	Priya Sane	Female	Finance	550000

بدون ساختار

هر Data با شکل یا ساختار ناشناخته به عنوان داده های بدون ساختار طبقه بندی می‌شود. علاوه بر بزرگ بودن اندازه، داده های بدون ساختار چالش های متعددی را از نظر پردازش آن برای استخراج ارزش از آن ایجاد می کنند. یک مثال معمولی از داده های بدون ساختار، منبع داده نا همگن حاوی ترکیبی از فایل های متنی ساده، تصاویر، ویدئو ها و …. می باشد.

در حال حاضر سازمان‌ ها داده‌‌های زیادی را در اختیار دارند، اما متاسفانه، آن ها نمی‌دانند چگونه از آن ارزش استخراج کنند زیرا این Data به شکل خام یا فرمت بدون ساختار هستند.

نمونه هایی از Big Data بدون ساختار

به عنوان یک نمونه ساده می‌توان به خروجی بازگردانده شده توسط «جستجوی Google» اشاره کرد.

نیمه ساختار یافته

داده های نیمه ساختاریافته می‌توانند شامل هر دو شکل داده باشند. ما می‌‌توانیم داده‌‌های نیمه‌ ساختار یافته را به‌ عنوان یک شکل ساختاریافته ببینیم، اما در واقع به عنوان ساختار یافته تعریف نشده‌اند. تعریف جدول در DBMS رابطه ای نمونه ای از داده‌های نیمه ساختار یافته‌ای است که در یک فایل XML نشان داده شده است.

نمونه هایی از داده های نیمه ساختار یافته

داده های شخصی ذخیره شده در یک فایل XML:

<rec><name>Prashant Rao</name><age>35</age></rec>
<rec><name>Seema R.</name><age>41</age></rec>
<rec><name>Satish Mane</name><age>29</age></rec>
<rec><name>Subrato Roy</name><age>26</age></rec>
<rec><name>Jeremiah J.</name><age>35</age></rec>

لطفاً توجه داشته باشید که داده‌ های برنامه وب، که ساختاری ندارند، شامل فایل‌ های گزارش، فایل‌ های سابقه تراکنش و غیره می شوند. سیستم‌ های OLTP برای کار با داده‌ های ساخت‌ یافته ساخته شده‌اند که در آن داده‌ ها در جدول ذخیره می‌ شوند.

مزایای پردازش Big Data

توانایی پردازش Big Data در DBMS مزایای متعددی را به همراه دارد.

دسترسی به داده‌ های اجتماعی از موتورهای جستجو و سایت‌ هایی مانند فیس‌ بوک، توییتر، سازمان‌ ها را قادر می‌سازد تا استراتژی‌ های تجاری خود را تنظیم کنند.

سیستم‌ های سنتی بازخورد مشتری، با سیستم‌ های جدیدی که با فناوری‌ های Big Data طراحی شده‌ اند جایگزین می‌ شوند. در این سیستم‌ های جدید، فناوری‌ های پردازش زبان طبیعی و داده‌ های بزرگ برای خواندن و ارزیابی پاسخ‌ های مصرف‌ کننده استفاده می‌ شوند.

با توجه به داده باز ها، می توانید در تصویر زیر متوجه اشتراک و تفاوت بزرگ داده ها و داده باز ها بشوید.

امیدوارم از مطالعه مقاله “Big Data چیست” لذت برده باشید.