این دوره به شما نشان می دهد که چگونه موتورهای توصیه را با استفاده از حداقل مربعات متناوب در PySpark بسازید. با استفاده از مجموعه داده محبوب MovieLens و مجموعه داده میلیون آهنگ، این دوره شما را گام به گام از طریق شهود الگوریتم حداقل مربعات متناوب و همچنین کد آموزش، آزمایش و پیاده‌سازی مدل‌های ALS بر روی انواع مختلف داده‌های مشتری، راهنمایی می‌کند.

اگر با SQL آشنایی دارید و چیزهای خوبی در مورد Apache Spark شنیده اید، این دوره برای شما مناسب است. Apache Spark یک چارچوب محاسباتی برای پردازش داده های بزرگ است و Spark SQL جزء Apache Spark است. این دوره چهار ساعته به شما نشان می دهد که چگونه با استفاده از ویژگی های پیشرفته SQL، مانند توابع پنجره، Spark را به سطح جدیدی از سودمندی ببرید.

در طول چهار فصل، از Spark SQL برای تجزیه و تحلیل داده‌های سری زمانی، استخراج رایج‌ترین کلمات از یک سند متنی، ایجاد مجموعه ویژگی‌ها از متن زبان طبیعی و استفاده از آنها برای پیش‌بینی آخرین کلمه در جمله با استفاده از رگرسیون لجستیک استفاده می‌کنید.

شما با ایجاد و جست‌وجوی یک جدول SQL در Spark و همچنین یادگیری نحوه استفاده از توابع پنجره SQL برای انجام مجموع‌های در حال اجرا، تفاوت‌های در حال اجرا و سایر عملیات‌ها شروع می‌کنید.

در مرحله بعد، نحوه استفاده از تابع پنجره در Spark SQL را برای پردازش زبان طبیعی، از جمله استفاده از تجزیه و تحلیل پنجره متحرک برای یافتن توالی کلمات رایج، بررسی خواهید کرد.

در فصل 3، نحوه استفاده از SQL Spark UI را برای ذخیره سازی مناسب DataFrames و جداول SQL قبل از کاوش در بهترین شیوه ها برای ورود به Spark، خواهید آموخت.

در نهایت، شما از تمام مهارت‌هایی که تاکنون آموخته‌اید برای بارگیری و نشانه‌گذاری متن خام قبل از استخراج دنباله‌های کلمه استفاده می‌کنید. سپس از رگرسیون لجستیک برای طبقه بندی متن استفاده می کنید و از داده های خام زبان طبیعی برای آموزش یک طبقه بندی متن استفاده می کنید.

این دوره معرفی کاملی از Spark SQL ارائه می‌کند، و در پایان، شما اصول اولیه را کاملاً درک خواهید کرد و خواهید فهمید که Spark چگونه قدرت محاسبات توزیع‌شده را با سهولت استفاده از Python و SQL ترکیب می‌کند.

دنیای واقعی کثیف است و وظیفه شما این است که آن را درک کنید. مجموعه داده‌های اسباب‌بازی مانند MTCars و Iris نتیجه مراقبت و تمیز کردن دقیق هستند، حتی بنابراین داده‌ها باید تبدیل شوند تا برای الگوریتم‌های یادگیری ماشین قدرتمند برای استخراج معنا، پیش‌بینی، طبقه‌بندی یا خوشه‌بندی مفید باشند. این دوره جزئیات مهمی را پوشش می دهد که دانشمندان داده 70 تا 80 درصد از زمان خود را صرف آن می کنند. جدال داده ها و مهندسی ویژگی ها با بزرگ‌تر شدن اندازه مجموعه داده‌ها، بیایید از PySpark برای کاهش اندازه این مشکل Big Data استفاده کنیم!

Spark یک ابزار قدرتمند و همه منظوره برای کار با Big Data است. Spark به طور شفاف توزیع وظایف محاسباتی را در یک خوشه انجام می دهد. این بدان معنی است که عملیات سریع است، اما همچنین به شما امکان می دهد به جای نگرانی در مورد جزئیات فنی، روی تجزیه و تحلیل تمرکز کنید. در این دوره شما یاد خواهید گرفت که چگونه داده ها را به Spark وارد کنید و سپس به سه الگوریتم اصلی یادگیری ماشین اسپارک بپردازید: رگرسیون خطی، رگرسیون لجستیک / طبقه بندی کننده ها، و ایجاد خطوط لوله. در طول مسیر، مجموعه داده بزرگی از تاخیرهای پرواز و پیام های متنی هرزنامه را تجزیه و تحلیل خواهید کرد. با این پیش زمینه، شما آماده خواهید بود که از قدرت Spark استفاده کنید و آن را در پروژه های یادگیری ماشین خود به کار ببرید!