ETL and Data Pipelines with Shell, Airflow and Kafka

دو رویکرد مختلف برای تبدیل داده های خام به داده های آماده تجزیه و تحلیل را بررسی کنید. یک رویکرد فرآیند استخراج، تبدیل، بارگذاری (ETL) است. روش متضاد دیگر فرآیند استخراج، بارگذاری و تبدیل (ELT) است. فرآیندهای ETL برای انبارهای داده و بازارهای داده اعمال می شود. فرآیندهای ELT برای دریاچه‌های داده اعمال می‌شود، جایی که داده‌ها در صورت تقاضا توسط برنامه درخواست‌کننده/فرستنده تبدیل می‌شوند. در این دوره آموزشی با ابزارها و تکنیک های مختلفی که با خطوط لوله ETL و Data استفاده می شود آشنا خواهید شد. هر دو ETL و ELT داده‌ها را از سیستم‌های منبع استخراج می‌کنند، داده‌ها را از طریق خط لوله داده منتقل می‌کنند و داده‌ها را در سیستم‌های مقصد ذخیره می‌کنند. در طول این دوره، نحوه تفاوت پردازش ELT و ETL را تجربه خواهید کرد و موارد استفاده را برای هر دو شناسایی خواهید کرد. روش ها و ابزارهای مورد استفاده برای استخراج داده ها، ادغام داده های استخراج شده به صورت منطقی یا فیزیکی و برای بارگذاری داده ها در مخازن داده ها را شناسایی خواهید کرد. شما همچنین تغییراتی را برای اعمال به داده های منبع تعریف می کنید تا داده ها قابل اعتماد، متنی و در دسترس کاربران داده باشند. می‌توانید برخی از روش‌های چندگانه برای بارگذاری داده‌ها در سیستم مقصد، تأیید کیفیت داده‌ها، نظارت بر خرابی بار و استفاده از مکانیسم‌های بازیابی در صورت خرابی را تشریح کنید. در پایان این دوره، شما همچنین می‌دانید که چگونه از Apache Airflow برای ساخت خطوط لوله داده استفاده کنید و همچنین در مورد مزایای استفاده از این روش آگاه خواهید بود. همچنین یاد خواهید گرفت که چگونه از آپاچی کافکا برای ساخت خطوط لوله جریان و همچنین اجزای اصلی کافکا که شامل: کارگزاران، موضوعات، پارتیشن ها، تکرارها، تولیدکنندگان و مصرف کنندگان است، استفاده کنید. در نهایت، یک پروژه نهایی قابل اشتراک گذاری را تکمیل خواهید کرد که به شما امکان می دهد مهارت هایی را که در هر ماژول به دست آورده اید نشان دهید.