تجزیه و تحلیل کلان داده با اسکالا و اسپارک (نسخه اسکالا 2)

دستکاری کلان داده های توزیع شده روی یک خوشه با استفاده از مفاهیم کاربردی در صنعت شایع است و مسلماً یکی از اولین استفاده های صنعتی گسترده از ایده های کاربردی است. محبوبیت MapReduce و Hadoop و اخیراً Apache Spark، یک چارچوب مجموعه‌های توزیع شده سریع و درون حافظه که در Scala نوشته شده است، گواه این موضوع است. در این دوره، خواهیم دید که چگونه پارادایم موازی داده را می توان با استفاده از Spark در سراسر مورد توزیع شده گسترش داد. ما مدل برنامه نویسی Spark را با جزئیات پوشش خواهیم داد، و مراقب باشیم که بدانیم چگونه و چه زمانی با مدل های برنامه نویسی آشنا، مانند مجموعه های موازی با حافظه مشترک یا مجموعه های متوالی Scala متفاوت است. از طریق مثال‌های عملی در Spark و Scala، یاد می‌گیریم که چه زمانی مسائل مهم مربوط به توزیع مانند تأخیر و ارتباطات شبکه باید در نظر گرفته شود و چگونه می‌توان به طور مؤثر برای بهبود عملکرد به آنها پرداخت. نتایج یادگیری در پایان این دوره شما قادر خواهید بود: - داده ها را از ذخیره سازی دائمی بخوانید و آن را در آپاچی اسپارک بارگذاری کنید. - دستکاری داده ها با Spark و Scala، - بیان الگوریتم برای تجزیه و تحلیل داده ها به سبک عملکردی، - تشخیص نحوه جلوگیری از تکرار و محاسبه مجدد در Spark، پیشینه پیشنهادی: شما باید حداقل یک سال تجربه برنامه نویسی داشته باشید. تسلط به جاوا یا سی شارپ ایده آل است، اما تجربه با زبان های دیگر مانند C/C++، Python، Javascript یا Ruby نیز کافی است. شما باید با استفاده از خط فرمان آشنایی داشته باشید. این دوره بعد از برنامه نویسی موازی در نظر گرفته شده است: https://www.coursera.org/learn/parprog1. توجه داشته باشید که این نسخه از دوره از Scala 2.13 استفاده می کند. می‌توانید نسخه جدیدتر دوره را که از Scala 3 استفاده می‌کند، در اینجا بیابید: https://www.coursera.org/learn/scala-spark-big-data