ایده ی کلان داده خود را به واقعیت تبدیل کنید!

یکی از مهمترین دغدغه های افرادی که در حوزه کلان داده مشغول به مطالعه و تحقیق هستند تجربه عملی و پیاده سازی یک نمونه کار کلان داده می باشد. نه بدین دلیل که نیاز به فهم کامل و آزمایش نیازمندی های فنی دارند بل بخاطر تجربه (Sense) یک مورد واقعی ، چرا که با مطالعه ی اکثر مورد کاوی ها شما صرفا با خروجی کار آشنا میشوید و درکی از چگونگی  اجرای کار ندارید. عدم تعامل و درگیری با مورد واقعی می تواند یک پژوهشگر را از کارکرد اصلی و واقعی کلان داده دور سازد.

یکی از ایده های اولیه برای پیاده سازی کار نمونه ، استفاده از متخصصان حوزه پایگاه داده برای پیاده سازی بستر مناسب  و آماده به کار برای کلان داده می باشد. این کار نیازمند خرید تجهیزات و سخت افزار مناسب همچنین هزینه هایی بابت محل نگهداری و پشتیبانی می باشد. مسلما این راهکار نمی تواند به یک پژوهشگر حوزه کلان داده کمکی کند.

یکی دیگر از راهگار های پیاده سازی استفاده از نرم افزار های طراحی شده برای کلان داده می باشد. که متناسب با حجم داده نیازمندی منابع خود را تغییر میدهد. این راهکار می تواند جهت آشنایی وحتی تست یک ایده کلان داده مورد استفاده قرار گیرد. حتی در بعضی محصولات نرم افزاری کلان داده نسخه ای از نرم افزار جهت استفاده دانشجویان ارائه شده است.

یکی از کاربردی ترین و مشهورترین نرم افزار ها در این حوزه  Tableau می باشد نسخه رایگان و قابل استفاده برای کرابران عادی در وب سایت این شرکت  قابل دسترسی می باشد.

بعد از نصب و خواندن راهنمایی استفاده وکاربری از نرم افزار ، نیاز به در دسترس بودن داده های با اعتبار برای تست و پیاده سازی می باشد. در حوزه تحقیقاتی داده ها اصولا از کلیدواژه ی Dataset با هدف ارجاع به داده های معتبر و معمولا به صورت سری استفاده می شود. شما می توانید به مجموعه ای از دیتا ست ها در لینک : http://www.inside-r.org/howto/finding-data-internet  دسترسی داشته باشید.

یکی از مهمترین کاربرد های این روش استخراج نتیجه های با اعتبار جهت ارائه به مشتریان و حتی تامین محتوای معتبر برای مقالات پژوهشی می باشد.

این یادداشت صرفا جهت آشنایی پژوهشگران این حوزه با امکان پیاده سازی پروژه کلان داده به صورت ساده و کم هزینه تدوین شده است. در صورت نیاز و علاقه مندی سوالات خود را بفرمایید تا بتوانیم مفاهیم یادگرفته شده را به نحو موثرتری به حوزه عمل نزدیک کنیم. برای مثال  مجموعه های دیتا ست قابل دستیابی، نرم افزار های دیگر این حوزه (R , Datameer , splunk , ... ) و همچنین بصری سازی خروجی ها و استفاده از نرم افزار های منبع باز می تواند در کاربردی کردن و پیاده سازی نمونه کار موثر باشد. در صورت مفید و قابل استفاده بودن این یادداشت نمونه ای از روش های کاربردی و پیاده سازی به صورت جزئی تر و عملی تر در پست های بعدی بیان خواهد شد.