مبانی کلان داده با PySpark

در چند سال گذشته سر و صدای زیادی در مورد Big Data وجود داشته است و در نهایت برای بسیاری از شرکت ها به جریان اصلی تبدیل شده است. اما این کلان داده چیست؟ این دوره اصول Big Data را از طریق PySpark پوشش می دهد. Spark یک چارچوب "محاسبات خوشه ای سریع رعد و برق" برای داده های بزرگ است. این یک موتور پلت فرم پردازش داده کلی را ارائه می دهد و به شما امکان می دهد برنامه ها را تا 100 برابر سریعتر در حافظه یا 10 برابر سریعتر روی دیسک نسبت به Hadoop اجرا کنید. شما از PySpark، یک بسته Python برای برنامه نویسی Spark و کتابخانه های قدرتمند و سطح بالاتر آن مانند SparkSQL، MLlib (برای یادگیری ماشین) استفاده خواهید کرد. کارهای ویلیام شکسپیر را بررسی خواهید کرد، داده های Fifa 2018 را تجزیه و تحلیل خواهید کرد و بر روی مجموعه داده های ژنومی خوشه بندی خواهید کرد. در پایان این دوره، شما درک عمیقی از PySpark و کاربرد آن در تجزیه و تحلیل کلی داده های بزرگ به دست خواهید آورد.