برنامه های رایانش ابری، بخش 2: داده های بزرگ و برنامه های کاربردی در ابر

به دوره آموزشی Cloud Computing Applications خوش آمدید، بخش دوم از مجموعه دو دوره ای که برای ارائه دیدی جامع از دنیای رایانش ابری و داده های بزرگ طراحی شده است! در این دوره دوم، ما برنامه‌های رایانش ابری را با بررسی اینکه چگونه ابر، تجزیه و تحلیل داده‌های حجم عظیمی از داده‌ها را که ثابت هستند یا با سرعت بالا پخش می‌شوند و نشان‌دهنده تنوع عظیمی از اطلاعات هستند، باز می‌کند، ادامه می‌دهیم. برنامه های کاربردی ابری و تجزیه و تحلیل داده ها نشان دهنده یک تغییر مخرب در روش هایی است که جامعه از آن مطلع می شود و از اطلاعات استفاده می کند. ما هفته اول را با معرفی برخی از سیستم های اصلی برای تجزیه و تحلیل داده ها از جمله Spark و چارچوب ها و توزیع های اصلی برنامه های تحلیلی از جمله Hortonworks، Cloudera و MapR آغاز می کنیم. در اواسط هفته اول، سیستم فایل توزیع شده و قوی HDFS را معرفی می کنیم که در بسیاری از برنامه ها مانند Hadoop استفاده می شود و هفته اول را با بررسی مدل برنامه نویسی قدرتمند MapReduce و اینکه چگونه سیستم عامل های توزیع شده مانند YARN و Mesos از یک محیط انعطاف پذیر و مقیاس پذیر پشتیبانی می کنند، معرفی می کنیم. تجزیه و تحلیل داده های بزرگ در هفته دوم، دوره ما ذخیره سازی داده در مقیاس بزرگ و مشکلات و مشکلات توافق در فروشگاه های عظیمی را که از مقادیری از پردازنده ها، حافظه ها و دیسک ها استفاده می کنند، معرفی می کند. ما سازگاری نهایی، ACID، و BASE و الگوریتم‌های اجماع مورد استفاده در مراکز داده از جمله Paxos و Zookeeper را مورد بحث قرار می‌دهیم. دوره ما فروشگاه‌های کلید-مقدار توزیع‌شده و پایگاه‌های داده حافظه مانند Redis را که در مراکز داده برای عملکرد استفاده می‌شوند، ارائه می‌کند. در ادامه پایگاه های داده NOSQL را ارائه می کنیم. ما از HBase بازدید می کنیم، پایگاه داده مقیاس پذیر و با تاخیر کم که از عملیات پایگاه داده در برنامه هایی که از Hadoop استفاده می کنند پشتیبانی می کند. سپس دوباره نشان می دهیم که چگونه Spark SQL می تواند پرس و جوهای SQL را روی داده های عظیم برنامه ریزی کند. هفته دوم را با ارائه‌ای در مورد سیستم‌های انتشار/اشتراک توزیع‌شده با استفاده از کافکا به پایان می‌رسانیم، یک سیستم پیام‌رسانی گزارش توزیع‌شده که کاربرد گسترده‌ای در اتصال داده‌های بزرگ و برنامه‌های پخش جریانی به یکدیگر برای تشکیل سیستم‌های پیچیده پیدا می‌کند. هفته سوم به سمت جریان سریع داده ها در زمان واقعی حرکت می کند و فناوری Storm را معرفی می کند که به طور گسترده در صنایعی مانند یاهو استفاده می شود. ما با معماری های Spark Streaming، Lambda و Kappa و ارائه اکوسیستم جریان ادامه می دهیم. هفته چهارم بر پردازش گراف، یادگیری ماشینی و یادگیری عمیق تمرکز دارد. ما ایده های پردازش گراف را معرفی می کنیم و Pregel، Giraph و Spark GraphX ​​را ارائه می کنیم. سپس با مثال هایی از Mahout و Spark به یادگیری ماشین می رویم. Kmeans، Naive Bayes، و fpm به عنوان مثال آورده شده است. Spark ML و Mllib موضوع برنامه نویسی و ساخت برنامه را ادامه می دهند. آخرین موضوعی که در هفته چهارم پوشش می دهیم، فناوری های یادگیری عمیق از جمله Theano، Tensor Flow، CNTK، MXnet و Caffe on Spark را معرفی می کند.