آپاچی هادوپ و اسپارک این امکان را فراهم می‌کنند که بینش‌های تجاری واقعی را از داده‌های بزرگ ایجاد کنید. ابر آمازون خانه طبیعی این مجموعه ابزار قدرتمند است که خدمات متنوعی را برای اجرای گردش‌های کاری پردازش داده در مقیاس بزرگ ارائه می‌کند. در این دوره آموزشی با معمار کلان داده لین لنگیت یاد بگیرید که گردش های کاری Apache Hadoop و Spark خود را در AWS پیاده سازی کنید. با استفاده از ماشین‌های مجازی با EC2، خوشه‌های Spark مدیریت‌شده با EMR یا کانتینرهایی با EKS، گزینه‌های استقرار را برای مشاغل مقیاس تولید کاوش کنید. یاد بگیرید که چگونه خوشه های Hadoop و کارهای Spark را با Databricks پیکربندی و مدیریت کنید و از Python یا زبان برنامه نویسی انتخابی خود برای وارد کردن داده ها و اجرای کارها استفاده کنید. به علاوه، نحوه استفاده از کتابخانه‌های Spark را برای یادگیری ماشینی، ژنومیک و استریم بیاموزید. هر درس به شما کمک می کند بفهمید کدام گزینه استقرار برای حجم کاری شما بهترین است.

 Hadoop هنگام پردازش کلان داده ضروری است - همانطور که سرورها برای ذخیره اطلاعات شما لازم است. این دوره مقدمه ای برای Hadoop است. فایل سیستم های کلیدی مورد استفاده با Hadoop. موتور پردازش آن، MapReduce، و بسیاری از کتابخانه ها و ابزارهای برنامه نویسی آن. توسعه‌دهنده و مشاور داده‌های بزرگ Lynn Langit نحوه راه‌اندازی یک محیط توسعه Hadoop، اجرای و بهینه‌سازی مشاغل MapReduce، کد پرس‌وجوهای اساسی با Hive و Pig، و ایجاد گردش‌های کاری برای زمان‌بندی کارها را نشان می‌دهد. به‌علاوه، درباره عمق و وسعت کتابخانه‌های Apache Spark موجود برای استفاده با خوشه Hadoop و همچنین گزینه‌هایی برای اجرای کارهای یادگیری ماشین در خوشه Hadoop اطلاعات کسب کنید.

 Apache Hadoop پیشگام در دنیای فناوری های کلان داده بود و همچنان در ذخیره سازی کلان داده های سازمانی پیشرو است. Apache Spark برترین موتور پردازش داده های بزرگ است و مجموعه ای چشمگیر از ویژگی ها و قابلیت ها را ارائه می دهد. هنگامی که با هم استفاده می شود، سیستم فایل توزیع شده Hadoop (HDFS) و Spark می توانند یک تنظیم تجزیه و تحلیل داده های بزرگ واقعا مقیاس پذیر را ارائه دهند. در این دوره آموزشی، یاد بگیرید که چگونه از این دو فناوری برای ایجاد خطوط لوله تجزیه و تحلیل داده مقیاس پذیر و بهینه استفاده کنید. مربی کوماران پونامبالام راه‌هایی را برای بهینه‌سازی مدل‌سازی و ذخیره‌سازی داده در HDFS بررسی می‌کند. در مورد مصرف و استخراج داده های مقیاس پذیر با استفاده از Spark صحبت می کند. و نکاتی را برای بهینه سازی پردازش داده ها در Spark ارائه می دهد. به علاوه، او یک پروژه مورد استفاده ارائه می دهد که به شما امکان می دهد تکنیک های جدید خود را تمرین کنید.