با جانانی راوی، معمار ابری گوگل و مهندس داده، با Apache Airflow آشنا شوید. با Apache Airflow - یک پلت فرم منبع باز برای توسعه، زمان‌بندی و نظارت بر جریان‌های کاری دسته‌گرا - می‌توانید وظایف فردی را که می‌خواهید به عنوان بخشی از خط لوله پردازش خود اجرا کنید، برنامه‌ریزی کنید، وابستگی‌های بین این وظایف را مشخص کنید، همه به صورت برنامه‌نویسی در پایتون. Airflow این وابستگی ها را مدیریت می کند و تضمین می کند که وظایف به ترتیب درست اجرا می شوند. به Janani بپیوندید تا به شما نحوه اجرای گردش کار در Airflow، تعریف وظایف و وابستگی ها و استفاده از عملگرهای Python و SQLite را نشان دهد. در مورد انشعاب شرطی و نحوه کار Catch up و backfill در Apache Airflow بیاموزید.

 

با استفاده از Apache Airflow به مدیریت خطوط لوله مهندسی داده عمیق‌تر بپردازید. در این دوره، جانانی راوی، معمار ابری و مهندس داده خبره Google، شما را در استفاده از Apache Airflow برای تکمیل گردش‌های کاری مدیریت خط لوله مهندسی داده‌تان راهنمایی می‌کند. نحوه کار با کنترل دسترسی مبتنی بر نقش، از جمله ایجاد کاربران با نقش‌های مختلف، اجرای یک DAG شاخه‌دار و یک DAG SQL، یادآوری اقداماتی که کاربران با نقش‌های مختلف می‌توانند انجام دهند و موارد دیگر را بیاموزید. به نحوه مدیریت SLA ها و زمان بندی DAG ها با مجموعه داده ها بروید. نحوه کار با پلاگین های AirFlow را بیاموزید و افزونه CSV reader را بررسی کنید. به علاوه، نحوه مقیاس‌بندی Apache Airflow، راه‌اندازی خط لوله انتقال داده، اجرای وظایف، و موارد دیگر را بیاموزید.

این دوره توسط جانانی راوی ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.