Course catalog

Course duration

Course provider

Topic

Categories

Showing 1-3 of 3 items.

coursera ETL and Data Pipelines with Shell, Airflow and Kafka (Mitalearn-322147)

  • 1 hours 48 minutes
  • متوسط
  • Release date: 23 June 2026
  • Author: Jeff Grossman,Yan Luo,Lavanya Thiruvali Sunderarajan
درباره این دوره:

دو رویکرد مختلف برای تبدیل داده های خام به داده های آماده تجزیه و تحلیل را بررسی کنید. یک رویکرد فرآیند استخراج، تبدیل، بارگذاری (ETL) است. روش متضاد دیگر فرآیند استخراج، بارگذاری و تبدیل (ELT) است. فرآیندهای ETL برای انبارهای داده و بازارهای داده اعمال می شود. فرآیندهای ELT برای دریاچه‌های داده اعمال می‌شود، جایی که داده‌ها در صورت تقاضا توسط برنامه درخواست‌کننده/فرستنده تبدیل می‌شوند. در این دوره آموزشی با ابزارها و تکنیک های مختلفی که با خطوط لوله ETL و Data استفاده می شود آشنا خواهید شد. هر دو ETL و ELT داده‌ها را از سیستم‌های منبع استخراج می‌کنند، داده‌ها را از طریق خط لوله داده منتقل می‌کنند و داده‌ها را در سیستم‌های مقصد ذخیره می‌کنند. در طول این دوره، نحوه تفاوت پردازش ELT و ETL را تجربه خواهید کرد و موارد استفاده را برای هر دو شناسایی خواهید کرد. روش ها و ابزارهای مورد استفاده برای استخراج داده ها، ادغام داده های استخراج شده به صورت منطقی یا فیزیکی و برای بارگذاری داده ها در مخازن داده ها را شناسایی خواهید کرد. شما همچنین تغییراتی را برای اعمال به داده های منبع تعریف می کنید تا داده ها قابل اعتماد، متنی و در دسترس کاربران داده باشند. می‌توانید برخی از روش‌های چندگانه برای بارگذاری داده‌ها در سیستم مقصد، تأیید کیفیت داده‌ها، نظارت بر خرابی بار و استفاده از مکانیسم‌های بازیابی در صورت خرابی را تشریح کنید. در پایان این دوره، شما همچنین می‌دانید که چگونه از Apache Airflow برای ساخت خطوط لوله داده استفاده کنید و همچنین در مورد مزایای استفاده از این روش آگاه خواهید بود. همچنین یاد خواهید گرفت که چگونه از آپاچی کافکا برای ساخت خطوط لوله جریان و همچنین اجزای اصلی کافکا که شامل: کارگزاران، موضوعات، پارتیشن ها، تکرارها، تولیدکنندگان و مصرف کنندگان است، استفاده کنید. در نهایت، یک پروژه نهایی قابل اشتراک گذاری را تکمیل خواهید کرد که به شما امکان می دهد مهارت هایی را که در هر ماژول به دست آورده اید نشان دهید.

linkedin آموزش Apache Airflow (Mitalearn-393309)

  • 2 hours 10 minutes
  • مناسب همه
  • Release date: 12 July 2023
  • Author: Janani Ravi
درباره این دوره: 

 با جانانی راوی، معمار ابری گوگل و مهندس داده، با Apache Airflow آشنا شوید. با Apache Airflow - یک پلت فرم منبع باز برای توسعه، زمان‌بندی و نظارت بر جریان‌های کاری دسته‌گرا - می‌توانید وظایف فردی را که می‌خواهید به عنوان بخشی از خط لوله پردازش خود اجرا کنید، برنامه‌ریزی کنید، وابستگی‌های بین این وظایف را مشخص کنید، همه به صورت برنامه‌نویسی در پایتون. Airflow این وابستگی ها را مدیریت می کند و تضمین می کند که وظایف به ترتیب درست اجرا می شوند. به Janani بپیوندید تا به شما نحوه اجرای گردش کار در Airflow، تعریف وظایف و وابستگی ها و استفاده از عملگرهای Python و SQLite را نشان دهد. در مورد انشعاب شرطی و نحوه کار Catch up و backfill در Apache Airflow بیاموزید.

linkedin مدیریت خط لوله مهندسی داده با Apache Airflow (Mitalearn-393326)

  • 2 hours 8 minutes
  • مناسب همه
  • Release date: 15 August 2023
  • Author: Janani Ravi
درباره این دوره: 

 

با استفاده از Apache Airflow به مدیریت خطوط لوله مهندسی داده عمیق‌تر بپردازید. در این دوره، جانانی راوی، معمار ابری و مهندس داده خبره Google، شما را در استفاده از Apache Airflow برای تکمیل گردش‌های کاری مدیریت خط لوله مهندسی داده‌تان راهنمایی می‌کند. نحوه کار با کنترل دسترسی مبتنی بر نقش، از جمله ایجاد کاربران با نقش‌های مختلف، اجرای یک DAG شاخه‌دار و یک DAG SQL، یادآوری اقداماتی که کاربران با نقش‌های مختلف می‌توانند انجام دهند و موارد دیگر را بیاموزید. به نحوه مدیریت SLA ها و زمان بندی DAG ها با مجموعه داده ها بروید. نحوه کار با پلاگین های AirFlow را بیاموزید و افزونه CSV reader را بررسی کنید. به علاوه، نحوه مقیاس‌بندی Apache Airflow، راه‌اندازی خط لوله انتقال داده، اجرای وظایف، و موارد دیگر را بیاموزید.

این دوره توسط جانانی راوی ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.


Suggestions