مهندسی ویژگی با PySpark

دنیای واقعی کثیف است و وظیفه شما این است که آن را درک کنید. مجموعه داده‌های اسباب‌بازی مانند MTCars و Iris نتیجه مراقبت و تمیز کردن دقیق هستند، حتی بنابراین داده‌ها باید تبدیل شوند تا برای الگوریتم‌های یادگیری ماشین قدرتمند برای استخراج معنا، پیش‌بینی، طبقه‌بندی یا خوشه‌بندی مفید باشند. این دوره جزئیات مهمی را پوشش می دهد که دانشمندان داده 70 تا 80 درصد از زمان خود را صرف آن می کنند. جدال داده ها و مهندسی ویژگی ها با بزرگ‌تر شدن اندازه مجموعه داده‌ها، بیایید از PySpark برای کاهش اندازه این مشکل Big Data استفاده کنیم!