کلان داده

وبگاه مشاوران مدیریتی، تجاری و فنی کلان داده

کلان داده

وبگاه مشاوران مدیریتی، تجاری و فنی کلان داده

کلان داده
دنبال کنندگان ۱ نفر
این وبلاگ را دنبال کنید
نویسندگان
آخرین نظرات

۱۲ مطلب با موضوع «صفحه شخصی اعضا :: هادی ستوده :: یافته ها» ثبت شده است

با سلام

در متن پیوست شده به نقشی که کلان داده در فرآیند استخدامی شرکت ها و یا سازمان ها می تواند ایفا کند، پرداخته شده است.

برای دریافت متن از اینجا اقدام کنید.

۰ نظر موافقین ۰ مخالفین ۰ ۲۶ دی ۹۳ ، ۲۲:۴۸
هادی ستوده

با سلام

با دومین جلسه از سلسه جلسات مصاحبه با افراد فعال در حوزه کلان داده در خدمت شما هستیم.

در این جلسه، به سراغ جناب آقای سیدمحمدمسعود صدرنژاد، کارشناس سیستم‌ادمینیستریشن لینوکس و توسعه‌دهنده وب در شرکت بهستان رایان، برگزار کننده دوره ی کلان داده در این شرکت و معاون فنی و تحقیق و توسعه در گروه فناوری اطلاعات فسفر رفته ایم و با ایشان در مورد نگاه کسب و کاری به موضوع کلان داده به گپ و گویی برخط با استفاده از اسکایپ نشسته ایم.

سیدمحمدمسعود صدرنژاد

سیدمحمدمسعود صدرنژاد

صفحه شخصی: http://sadrnezhaad.ir/smm

در ابتدا گزیده از مصاحبه صورت گرفته آورده شده است.

اینجانب سید محمد مسعود صدرنژاد، اینجانب به جزء فعالیت در گروه فسفر و شرکت بهستان رایان، هفت سال به صورت Freelance در زمینه سیستم ادمینیستریشن لینوکس و وب فعالیت کرده ام، همچنین ۴ سال است در جوامع کاربری مرتبط با نرم افزار آزاد مانند جامعه آزاد رایانش ابری فعال هستم، از جمله فعالیت های مرتبط با کلان داده اینجانب برگزاری دوره ی آموزشی کلان داده در شرکت بهستان می باشد.

از مسائلی که باعث می شود که کلان داده اهمیت پیدا می کند یکی استفاده آسان از کلان داده می باشد چون جهت کسب یک حجم زیاد داده دیگر لازم نیست مسافت زیادی را طی کنیم امروز خیلی راحت می توانیم با استفاده از گجت هایی به منابع عظیم داده وصل بشیم. اگر ما از این حجم زیاد داده ای که می توانیم به آن دسترسی داشته باشیم که داریم آن را ذخیره می کنیم نتوانیم درست استفاده کنیم فقط در حال صرف منابع و فضا و هدر دادن آن هستیم و قسمت اصلی این است که از این منابع عظیم داده ای که آن را کسب می کنیم بتوانیم درست استفاده کنیم از منابع داده ای می توان به فیس بوک اشاره کرد که بیش از ۳۵ درصد کل عکس های کل جهان روی سرورهای آن است و روزانه بیش از ۵۰۰ پتابایت به داده های سرورهای آن اضافه می شود و یا یوتویوب بیش از یک هگزا بایت داده دارد که شاید نتوان سایتی را پیدا کرد که در این حدود داده داشته باشد. که عددهای بسیار بزرگی می باشد. در این حوزه ابزارهای آزادی مانند hadoop هستند که یک نرم افزار نیست و یک چارچوب که از آن جهت تحلیل داده ها استفاده می شود. که ابزارهای متن باز دیگری نیز در این حوزه وجود دارد و این باعث شده است که توان استفاده از کلان داده مخصوص کسب و کارهای بزرگ نباشد و هر شخصی بتواند از این فناوری استفاده کند.  در ادامه ی این مصاحبه آقای صدر نژاد به سوالات زیر پاسخ داده اند که می توانید جواب آن ها را از طریق فایل صوتی پیوست شده، دریافت نمایید.

 ۱- کلان داده چیست؟

۲- کسب و کارهای مبتنی بر کلان داده شامل چه مواردی می توانند باشند. اهمیت بحث کلان داده به کدام ویژگی‌های آن مرتبط است و چگونه؟
۳- فرصت ها و تهدید های این کسب و کارها چیست؟
۴- تا چه میزان بحث کلان داده وارد محیط کسب و کار شده و تا چه میزان هنوز در دانشگاه ها روی آن کار می شود.
۵- چرا برخی راه کار های مرتبط کلان داده مانند هدوپ پیشرفت زیادی داشته اند؟
۶- اگر نکاتی در مورد کسب و کار این حوزه باقی مانده است، لطفا بفرمایید.

می توانید فایل مصاحبه را از سرور های زیر دریافت کنید.

SoundCloud

MediaFire

با تشکر

۱ نظر موافقین ۱ مخالفین ۰ ۰۹ دی ۹۳ ، ۲۰:۰۹
هادی ستوده

با سلام

ان شاءالله با سلسله جلسات مصاحبه با افراد فعال در حوزه کلان داده در خدمت شما خواهیم بود.

در اولین جلسه از این مصاحبه ها، به سراغ جناب آقای مهندس حامد تهمورسی مدیرفنی سابق شرکت عمید رایانه شریف رفتیم و با ایشان در مورد تجربیات ایشان در حوزه مدیریت پروژه های کلان داده به گپ و گفت نشسته ایم.

مهندس حامد تهمورسی

مهندس حامد تهمورسی

در این قسمت بخشی از مصاحبه را می خوانیم.

اینجانب حامد تهمورسی دانشجوی دکترای مهندسی نرم افزار دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شریف هستم و قبل از ورود به مقطع دکترا، مدیر فنی شرکت عمید رایانه شریف (عرش) و عضو تیم فنی تیم کلان داده ای این شرکت بوده ام.  یکی از پروژه هایی که شرکت عمید رایانه شریف سراغ آن رفت پروژه ای در حوزه کلان داده بود که در آن قرار بود حجم عظیمی از داده ها از سطح اینترنت جمع آوری بشود و بر روی آن تحلیل هایی صورت بگیرد، این پروژه ابتدا توسط تیم دیگری شروع شده بود که آن تیم کدهایی زده بودند و شروع به جمع آوری داده ها کرده بودند و بعد از مدتی تیم دیگری که بنده هم عضو آن بودم تشکیل شد تا بر روی این داده ها تحلیل های مناسبی انجام بدهیم که بحث همه اش فنی نبود، بلکه یکی از مسائل این است که چه نوع تحلیل هایی مورد نیاز می باشد، خود این که چه نوع تحلیل هایی مورد نیاز می باشد با توجه به گنگ بودن فضا، یک چالش است چون خود کارفرما فقط شنیده است که کلان داده خیلی مفید است و چیزه خوبی است ولی این که چه مزایایی و ارزش هایی را می تواند در اختیار او قرار بدهد را نمی داند و به این مسائل اشراف ندارد، که این فضای گنگ کار ما را سخت می کرد، همچنین وجود تکنولوژی های مختلف در این حوزه و این که هدف ما چیست و قرار است چه نوع تحلیل هایی انجام بشود که به درد کارفرما بخورد، نیز یک چالش جدی است. همچنین قسمت بصری سازی این تحلیل ها نیز یکی دیگر از چالش های ما بوده است به این نحو که ما بایستی این نکته را در نظر بگیریم که کارفرما شخصی فنی نیست و در نتیجه نباید یک سری عدد و رقم در تحلیل به او نشان داد در نتیجه نحوه ی بصری سازی نتایج نیز باید به گونه ای باشد که مورد استفاده و رضایت کاربر قرار بگیرد در نتیجه بصری سازی نتایج نیز یک چالش دیگری است که باید آن را حل کرد. خیلی از ایده ها را که به نظر خود ما پشتوانه ی علمی نیز داشت را ما انجام می دادیم ولی در هنگام ارائه با بازخورد منفی کارفرما مواجه می شدیم که این نیز مسئله ای بود. خود استراتژی برخورد با اعضای تیم فنی در چنین پروژه هایی که فضا گنگ است و روشن نمی باشد نیز چالشی دیگر است که ما بایستی بدانیم چگونه با اعضای تیم فنی برخورد کنیم که انگیزه آن ها از بین نرود چون به دلیل فضای این حوزه که فضای ناپایدار و گنگی است که کاربردها دقیق مشخص نیست، فضا گنگ است و خود اعضای تیم حس می کنند که این فضای گنگ باعث ضربه به آن ها می شود چون معلوم نیست دقیقا چه کاری قرار است بکنند و تغییرات زیادی صورت می گیرد و اینجا وظیفه ی مدیر فنی تیم این است که بتواند تیم را به گونه ای مدیریت کند که تیم فنی دچار چنین بحرانی نشود، نیز مسئله ای مهمی است و مدیر فنی بایستی دارای توانایی های مدیریتی در چنین سطحی باشد. در ادامه ی این مصاحبه به سوالات زیر توسط جناب آقای مهندس حامد تهمورسی پاسخ داده شده است که می توانید جهت دریافت جواب ها به فایل صوتی پیوست شده مراجعه کنید.

۱- چرا شرکت عمید رایانه شریف تصمیم به ورود به حوزه کلان داده گرفت؟

۲- نحوه ی ورود شرکت به این حوزه به چه شکلی بود آیا از رده های پایینی این پیشنهاد داده شد و یا از سطح مدیریت ارشد این تصمیم گرفته شد؟

۳- در حوزه کلان داده چه نوع پروژه هایی توسط شرکت اخذ شد؟

۴- جهت تشکیل تیم فنی در این حوزه چه ملاک هایی را در گزینش لحاظ کردید و در این حوزه به دنبال چه نوع افرادی با چه پیش زمینه هایی بودید؟

۵- آیا تفاوتی بین پروژه های این حوزه با پروژ های مهندسی نرم افزار از لحاظ بودجه و هزینه می باشد؟

۶- حقوق متوسط افراد در این حوزه نسبت به سایر حوزه ها را در ایران چگونه ارزیابی می کنید؟

۷- وضعیت کنونی شرکت عمید رایانه شریف (عرش) در حوزه کلان داده به چه شکلی می باشد؟

 

شما می توانید جهت دریافت فایل مصاحبه از اینجا اقدام کنید.

موفق باشید

۰ نظر موافقین ۱ مخالفین ۰ ۰۶ دی ۹۳ ، ۱۸:۳۳
هادی ستوده

با سلام
در این قسمت مقایسه ای بین چارچوب های مختلف متن باز حوزه کلان داده مانند Hadoop,Storm,Spark,S4 توسط اینجانب صورت گرفته است. فایل مقایسه را از اینحا دریافت کنید.
ان شاءالله در فرصت های بعدی بیشتر با چارچوب متن باز Storm(طوفان) ارائه شده توسط شرکت توییتر آشنا خواهیم شد.

۰ نظر موافقین ۱ مخالفین ۰ ۲۸ آذر ۹۳ ، ۱۵:۳۸
هادی ستوده
يكشنبه, ۲۳ آذر ۱۳۹۳، ۰۲:۵۲ ب.ظ

دوره های آموزشی مجازی و خود خوان علم داده

سلام
با توجه به این که به یک مشاور حوزه کلان داده توصیه می شود که یک دید با گستره ی زیاد و عمق کم درباره ی این حوزه داشته باشد، توصیه می شود در صورتی که می خواهید به عنوان یک مشاور در این حوزه فعالیت کنید، در یکی از دوره های معرفی شده زیر شرکت کرده و با کلیت و مفاهیم مطرح شده در این حوزه آشنا بشوید.
در این قسمت به معرفی منابع مجازی و خودخوان برای مطالعه و یادگیری علم داده می پردازیم.

۱- منبع خودخوان: http://nborwankar.github.io/LearnDataScience که با دریافت این منبع می توانید خودتان به صورت خودخوان به کسب این دانش بپردازید.

۲- دوره های MOOC: برگزار شده در Coursera,EDX,Udacity:
دوره های برگزار شده در سایت Coursera با توجه به این که با برند یک دانشگاه و توسط استاد دانشگاه انجام می شود با دوره های برگزار شده توسط Udacity که توسط کارکنان شرکت هایی مانند گوگل و ... می باشد از لحاظ کیفی و هدف دوره متفاوت می باشد.
با توجه به این که به مرور دوره های جدیدتری به سایت های بالا اضافه می شود در زیر فقط چند دوره از بین چندین دوره این حوزه را معرفی می کنم.
۱- بسته کامل علم داده

برگزار کننده : دانشگاه جان هاپکینز:

آدرس: https://www.coursera.org/course/datascitoolbox
۲- معرفی بر علم داده

برگزار کننده : دانشگاه واشینگتن

آدرس: https://www.coursera.org/course/datasci
۳- دوره های مرتبط علم داده در سایت Udacity: 
https://www.udacity.com/courses#!/data-science

و در آخر درس علم داده برگزار شده در دانشگاه هاروارد که جهت استفاده سایر علاقه مندان در آدرس زیر قرار داده شده است.
http://cs109.github.io/2014

همچنین سایت bigdatauniversity.com نیز چنین دوره هایی برگزار می کند که خود بنده در یکی از کلاس های آن شرکت کردم ولی با توجه به رویکرد کاملا IBM ای این سایت و این که بیشتر آموزش ها بر اساس محصولات آی بی ام می باشد به نظر می رسد این سایت صرفا برای یادگیری و آشنایی با مفاهیم این حوزه مناسب باشد و شاید کاربرد عملی نداشته باشد هم به دلیل بحث شخصی سازی شدن کاربرد های این حوزه و هم به دلیل شرایط کشور ایران.

موفق باشید.

۰ نظر موافقین ۰ مخالفین ۰ ۲۳ آذر ۹۳ ، ۱۴:۵۲
هادی ستوده
يكشنبه, ۱۶ آذر ۱۳۹۳، ۰۹:۱۹ ق.ظ

انواع مدل های بالندگی در حوزه کلان داده‎

Knowledgent نیز همانند شرکت SAP و موسسه Gartner اقدام به ارائه مدل بالندگی برای کلان داده کرده است.

موردی که در این مدل ها قابل مشاهده است که تا بدین جای کار که چند مدل را بررسی کرده ام روند کلی این مدل ها حدودا یکی می باشد ولی گامهای میانی و شروع شان کمی متفاوت می باشد و همچنین پیش فرض های متفاوتی را در نظر گرفته اند.

به نظر می رسد نمی توان با استفاده از یک مدل مثل یک چکش طلایی برای مشاوره بنگاه های مختلف داد بلکه می توان با ترکیب این مدل ها به یک مدل جامع تری رسید که دارای ویژگی های مختلفی باشد سپس با توجه به شرایط هر بنگاه اقدام به ارائه مدل بومی شده ی خاص آن بنگاه کرد.

 

منبع:

http://www.toolsjournal.com/integration ... ity-levels

۰ نظر موافقین ۰ مخالفین ۰ ۱۶ آذر ۹۳ ، ۰۹:۱۹
هادی ستوده

برای استخدام نیروی جدید در سازمان، اطلاعات و داده‌های بسیار زیادی وجود دارد که بررسی و تحلیل آنها از توانایی انسان خارج است. و حتی در صورت یادگیری و ایجاد توانایی، زمان و هزینه‌ی استفاده از ربات‌ها و پردازش‌گرهای غیر انسانی آنقدر پایین‌ است که عملا استفاده از نیروی انسانی را در فرایند استخدام بی‌معنی می‌کند. به عنوان مثال، بررسی اطلاعاتی مانند «داده‌های موجود در شبکه‌های اجتماعی»، «تعداد روز‌هایی که در ماه برای خرید به بازار می‌روید»، و ربط دادن آنها به «نوع مرورگر اینترنت در هنگام ثبت‌نام برای شغل» از داده‌هایی هستند که تحلیل‌شان برای انسان به راحتی قابل انجام نمی‌باشد. 

 

انسان‌ها هرقدر که در استخدام افراد جدید ماهر و کارآزموده باشند، باز هم ممکن است درهنگام فرایند استخدام پیش فرض های خود را دخالت داده و نتوانند به عدالت رفتار کنند

به عنوان مثال سایت lever.co سعی در خودکارسازی فرآیند استخدام شرکت ها و سازمان ها با استفاده از داده هایی که از متقضایان در اختیارش قرار داده می شود، می کند و از نیازمندی هایی که از سوی کارفرما به آن ها اعلام می شود برای خودکارسازی فرآیند استخدامی شرکت ها استفاده می کند، بدون آن که نیروی انسانی حضور داشته باشد فرآیند تماس با متقضایان و امور مربوطه را انجام می دهد که می تواند از لحاظ هزینه ای چه به لحاظ مادی و چه به لحاظ معنوی به سود سازمان باشد و افراد توانمندی را برای جذب در بنگاه ها به مدیران پیشنهاد بدهد.

پی نوشت: مقاله‌ای با عنوان Big Data and Hiring چاپ شده در اکونومیست را بخوانید.

 

۰ نظر موافقین ۰ مخالفین ۰ ۱۶ آذر ۹۳ ، ۰۰:۱۱
هادی ستوده
پنجشنبه, ۱۳ آذر ۱۳۹۳، ۰۹:۴۱ ب.ظ

علی ربایی مشاور تجاری کلان داده‎

علی ربایی که سابقا یک فعال در حوزه هوش تجاری بوده است از سال ۲۰۱۰ وارد حوزه مشاوره و تحلیل گر کلان داده برای صنعت شده است و در حقیقت نقشی که او و گروه تحلیل گر ربایی بازی می کنند را ما دانشجویان این درس قرار است در پروژه فردی خود ایفا کنیم، با این تفاوت که این گروه قسمت فنی کار را با توجه به موقعیتی که مستقر هستند( محل استقرار در دوبی امارات متحده عربی می باشد.) و استفاده از ارتباطاتی که دارند برون سپاری کرده اند و خود و گروه خود را درگیر قسمت فنی و پیاده سازی کار نکرده اند که خود نیز می تواند نقطه قابل توجهی برای ما باشد. 

یکی از کلیدی ترین جملات مصاحبه ایشون به نظر بنده این قسمت هست که می گویند:

داشتن فناوری پیاده سازی شده فقط یک قسمت از داستان است، بدون فرهنگ داده محور، قسمت اول داستان به هدر خواهد رفت.

به نظر بنده این شیوه فعالیت می تواند برای موقعیت کنونی کشور ما بسیار جوابگو باشد و اگر که چنین تیمی از همین دانشجویان درس تشکیل شود که در قسمت تعیین استراتژی و مشاوره دادن برای بنگاه عمل بکنند و قسمت فنی کار را برون سپاری بکنند به تیم فنی آن و خود را درگیر آن حوزه نکنند به نظرم می توانند تیمی موفق تشکیل دهند.

 

منبع مصاحبه آقای علی ربایی با سایت dataconomy:

http://dataconomy.com/top-tips-for-impl ... -strategy/

سایت گروه تحلیل گر ربایی:

http://www.data-aurora.com

یک مشکلاتی که به نظر می رسد در این حوزه برای بنگاه های ایرانی باشد این است که آیا بنگاه ها حاضر می شوند داده های خود را در اختیار گروهی خارج از چارچوب بنگاهی خود قرار دهند؟

اگر که بنگاه ها بخواهند خود تیم های فنی را جذب و استخدام کنند این کار باعث بزرگتر شدن بنگاه می شود و از چابکی بنگاه می کاهد، به نظر شما چه کاری می توان انجام داد تا که بنگاه ها در این حوزه حاضر به برون سپاری بشوند. 

به نظر من کاری که گروه ربایی کرده است و توانسته است اعتماد بنگاه ها را به خود جلب کند، بسیار کار ارزشمندی بوده.

به نظر شما فرمول جلب اعتماد در این حوزه چیست؟

۰ نظر موافقین ۰ مخالفین ۰ ۱۳ آذر ۹۳ ، ۲۱:۴۱
هادی ستوده
چهارشنبه, ۱۲ آذر ۱۳۹۳، ۱۱:۳۸ ب.ظ

واسطه گری حتی در کلان داده !‎

واسطه گری حتی در حوزه کلان داده، می پرسید چگونه؟ خیلی ساده است.

کافی است که شما یک وبسایت ایجاد کنید، چند تن از افراد خبره و نام دار در حوزه کلان داده را گرد هم جمع کرده و با تبلیغات و جذب نیروهای مستعد مثلا با عنوان کاراموز تابستان از مراکز آکادمیک تیم های کوچکی تشکیل داده و در حین کارآموزی پروژه های مرتبطی نیز از دولت و بخش های خصوصی دریافت کرده و در این تیم ها، این پروژه ها را پخش کرده و فقط شما مدیریت این ساختار را برعهده می گیرید.

به همین راحتی

آیا این صحبت پشتوانه خارجی دارد؟

بله، به عنوان مثال : چند تن از اساتید دانشگاه شیکاگو که خود افراد فنی هستند همچین طرحی را هر تابستان در مرکز شهر شیکاگو برگزار کرده و از سرتاسر دنیا نیروهای مستعد را جذب کرده و بر روی پروژه های دولتی و بخش خصوصی کار می کنند.

منبع : http://dssg.io

 

گلوگاه در کلان داده، مباحث فنی نیست بلکه خلاقیت است. 

۰ نظر موافقین ۱ مخالفین ۰ ۱۲ آذر ۹۳ ، ۲۳:۳۸
هادی ستوده
يكشنبه, ۹ آذر ۱۳۹۳، ۰۹:۱۸ ق.ظ

سطوح منفی یک و منفی دو و ...!!!

فرض کنید که شما به عنوان یک مشاور کلان داده به یک بنگاه مراجعه کرده اید و در ابتدا با بیان چند مثال از کاربردهای کلان داده سعی در تشنه کردن مخاطب خود داشته تا بتوانید نظر او را نسبت به چنین فناوری جلب کنید، بعد از این که مدیر مربوطه موافقت خود را اعلام کرد. حال شما می خواهید که با قسمت های مختلف بنگاه آشنا شوید و فرآیند های آن را بشناسید. در صورتی که مشاهده کنید که این بنگاه طبق مدل بالندگی مطرح شده در کلاس برای کلان داده قسمتی از سطح یک را دارا می باشد ولی از فرآیند های سازمانی و ساده درستی برخوردار نیست و فقط تنها در بخشی از بنگاه فرآیندهای آن معلوم و استخراج شده است که حتی بعضی جاهای آن برای خود مسئولان گنگ است :) و در بقیه قسمت ها حتی فرآیند ها مشخص نمی باشد و استخراجی صورت نگرفته است به نظر شما چگونه می توان مشاوره ی خوبی برای حوزه کلان داده به این بنگاه داد؟
آیا لازم است در مدل بالندگی سطوح منفی یک، منفی دو و ... نیز تعریف کنیم؟
به نظر شما ایا فناوری کلان داده برای چنین بنگاهی مناسب است؟

به نظر می رسد هربنگاه برای ورود به این حوزه باید حداقلی از ویژگی هارا داشته باشد
امری که در الگوی تبیینی بالندگی نیز پیش فرض ضمنی! بود.
بنابراین به نظر می رسد نخستین گام ایجاد چنین زیرساخت ها یا مبانی است . هم چنین حین تدوین این زیرساخت ها نیز می توان نگاهی حداقلی به پیاده ساز ی زیرساخت کلان داده داشت
همان طور که بحث آن در کلاس شد حداقل مزیت کاهش هزینه های ذخیره سازی داده هاست و می توان حین تدوین این الگوها چنین طرح هایی نیز در پی انداخت.

در مدلهای بالندگی مرحله این است که شرکت دارای یک زیر ساخت BI یا ذخبره داده ها باشد. از همین رو من هم با بیانات شما موافقم ولی نکته ای برای عرض کردن دارم.
مدلهایی که در فروم یا در کلاس بحث شده اند برای بالندگی کلان داده هستند. ولی قبل از آن باید یک مدل بالندگی BI برای سازمان پیاده کرد. نمونه های خیلی زیادی را میتوانید برای آن در اینترنت پیدا کنید. حتی در سایت زیر پرسشنامه ای ارائه کرده که میزان پیشرفتتان را نشان دهد.
http://tdwi.org/pages/maturity-model/ma ... -home.aspx

۱ نظر موافقین ۱ مخالفین ۰ ۰۹ آذر ۹۳ ، ۰۹:۱۸
هادی ستوده