آپاچی هادوپ و اسپارک این امکان را فراهم می‌کنند که بینش‌های تجاری واقعی را از داده‌های بزرگ ایجاد کنید. ابر آمازون خانه طبیعی این مجموعه ابزار قدرتمند است که خدمات متنوعی را برای اجرای گردش‌های کاری پردازش داده در مقیاس بزرگ ارائه می‌کند. در این دوره آموزشی با معمار کلان داده لین لنگیت یاد بگیرید که گردش های کاری Apache Hadoop و Spark خود را در AWS پیاده سازی کنید. با استفاده از ماشین‌های مجازی با EC2، خوشه‌های Spark مدیریت‌شده با EMR یا کانتینرهایی با EKS، گزینه‌های استقرار را برای مشاغل مقیاس تولید کاوش کنید. یاد بگیرید که چگونه خوشه های Hadoop و کارهای Spark را با Databricks پیکربندی و مدیریت کنید و از Python یا زبان برنامه نویسی انتخابی خود برای وارد کردن داده ها و اجرای کارها استفاده کنید. به علاوه، نحوه استفاده از کتابخانه‌های Spark را برای یادگیری ماشینی، ژنومیک و استریم بیاموزید. هر درس به شما کمک می کند بفهمید کدام گزینه استقرار برای حجم کاری شما بهترین است.

 Hadoop هنگام پردازش کلان داده ضروری است - همانطور که سرورها برای ذخیره اطلاعات شما لازم است. این دوره مقدمه ای برای Hadoop است. فایل سیستم های کلیدی مورد استفاده با Hadoop. موتور پردازش آن، MapReduce، و بسیاری از کتابخانه ها و ابزارهای برنامه نویسی آن. توسعه‌دهنده و مشاور داده‌های بزرگ Lynn Langit نحوه راه‌اندازی یک محیط توسعه Hadoop، اجرای و بهینه‌سازی مشاغل MapReduce، کد پرس‌وجوهای اساسی با Hive و Pig، و ایجاد گردش‌های کاری برای زمان‌بندی کارها را نشان می‌دهد. به‌علاوه، درباره عمق و وسعت کتابخانه‌های Apache Spark موجود برای استفاده با خوشه Hadoop و همچنین گزینه‌هایی برای اجرای کارهای یادگیری ماشین در خوشه Hadoop اطلاعات کسب کنید.

Apache Hadoop پیشگام در دنیای فناوری های کلان داده بود و همچنان در ذخیره سازی کلان داده های سازمانی پیشتاز است. Apache Spark برترین موتور پردازش داده های بزرگ است و مجموعه ای چشمگیر از ویژگی ها و قابلیت ها را ارائه می دهد. هنگامی که با هم استفاده می شود، سیستم فایل توزیع شده Hadoop (HDFS) و Spark می توانند یک راه اندازی واقعا مقیاس پذیر برای تجزیه و تحلیل داده های بزرگ ارائه دهند. در این دوره، کوماران پونامبالام، متخصص تجزیه و تحلیل داده، به شما نشان می دهد که چگونه از این دو فناوری برای ایجاد خطوط لوله تجزیه و تحلیل داده مقیاس پذیر و بهینه استفاده کنید. کاوش راه هایی برای بهینه سازی مدل سازی و ذخیره سازی داده ها در HDFS؛ بحث در مورد مصرف و استخراج داده های مقیاس پذیر با استفاده از Spark. و نکات قابل اجرا برای بهینه سازی پردازش داده ها در Spark را مرور کنید. به علاوه، یک پروژه مورد استفاده را تکمیل کنید که به شما امکان می دهد تکنیک های جدید خود را تمرین کنید.

 Apache Hadoop پیشگام در دنیای فناوری های کلان داده بود و همچنان در ذخیره سازی کلان داده های سازمانی پیشرو است. Apache Spark برترین موتور پردازش داده های بزرگ است و مجموعه ای چشمگیر از ویژگی ها و قابلیت ها را ارائه می دهد. هنگامی که با هم استفاده می شود، سیستم فایل توزیع شده Hadoop (HDFS) و Spark می توانند یک تنظیم تجزیه و تحلیل داده های بزرگ واقعا مقیاس پذیر را ارائه دهند. در این دوره آموزشی، یاد بگیرید که چگونه از این دو فناوری برای ایجاد خطوط لوله تجزیه و تحلیل داده مقیاس پذیر و بهینه استفاده کنید. مربی کوماران پونامبالام راه‌هایی را برای بهینه‌سازی مدل‌سازی و ذخیره‌سازی داده در HDFS بررسی می‌کند. در مورد مصرف و استخراج داده های مقیاس پذیر با استفاده از Spark صحبت می کند. و نکاتی را برای بهینه سازی پردازش داده ها در Spark ارائه می دهد. به علاوه، او یک پروژه مورد استفاده ارائه می دهد که به شما امکان می دهد تکنیک های جدید خود را تمرین کنید.

Hadoop هنگام پردازش کلان داده ضروری است - همانطور که سرورها برای ذخیره اطلاعات شما لازم است. در این دوره، معمار ابر، لین لنگیت، معرفی کاملی از Hadoop ارائه می دهد. نحوه راه اندازی Cloud Hadoop را بیاموزید و در مورد اجزای اصلی مانند JVM ها، سیستم فایل HDFS، AWS S3 و اجزای کلاستر بیاموزید. مراحل تنظیم و تأیید محیط توسعه خود را طی کنید. روش‌هایی را که می‌توانید از MapReduce با Hadoop استفاده کنید، کاوش کنید و یاد بگیرید که چگونه هر کار MapReduce را تنظیم کنید. به مقیاس‌بندی خوشه‌های Hadoop مبتنی بر VM در GCP Dataproc HDFS بروید. نحوه انتخاب گزینه های NoSQL مناسب برای Hadoop با Hive، HBase و Pig را بیاموزید. به علاوه، به معماری Apache Spark و نحوه اجرای یک کار Apache Spark در خوشه Hadoop بپردازید.