دو رویکرد مختلف برای تبدیل داده های خام به داده های آماده تجزیه و تحلیل را بررسی کنید. یک رویکرد فرآیند استخراج، تبدیل، بارگذاری (ETL) است. روش متضاد دیگر فرآیند استخراج، بارگذاری و تبدیل (ELT) است. فرآیندهای ETL برای انبارهای داده و بازارهای داده اعمال می شود. فرآیندهای ELT برای دریاچه‌های داده اعمال می‌شود، جایی که داده‌ها در صورت تقاضا توسط برنامه درخواست‌کننده/فرستنده تبدیل می‌شوند. در این دوره آموزشی با ابزارها و تکنیک های مختلفی که با خطوط لوله ETL و Data استفاده می شود آشنا خواهید شد. هر دو ETL و ELT داده‌ها را از سیستم‌های منبع استخراج می‌کنند، داده‌ها را از طریق خط لوله داده منتقل می‌کنند و داده‌ها را در سیستم‌های مقصد ذخیره می‌کنند. در طول این دوره، نحوه تفاوت پردازش ELT و ETL را تجربه خواهید کرد و موارد استفاده را برای هر دو شناسایی خواهید کرد. روش ها و ابزارهای مورد استفاده برای استخراج داده ها، ادغام داده های استخراج شده به صورت منطقی یا فیزیکی و برای بارگذاری داده ها در مخازن داده ها را شناسایی خواهید کرد. شما همچنین تغییراتی را برای اعمال به داده های منبع تعریف می کنید تا داده ها قابل اعتماد، متنی و در دسترس کاربران داده باشند. می‌توانید برخی از روش‌های چندگانه برای بارگذاری داده‌ها در سیستم مقصد، تأیید کیفیت داده‌ها، نظارت بر خرابی بار و استفاده از مکانیسم‌های بازیابی در صورت خرابی را تشریح کنید. در پایان این دوره، شما همچنین می‌دانید که چگونه از Apache Airflow برای ساخت خطوط لوله داده استفاده کنید و همچنین در مورد مزایای استفاده از این روش آگاه خواهید بود. همچنین یاد خواهید گرفت که چگونه از آپاچی کافکا برای ساخت خطوط لوله جریان و همچنین اجزای اصلی کافکا که شامل: کارگزاران، موضوعات، پارتیشن ها، تکرارها، تولیدکنندگان و مصرف کنندگان است، استفاده کنید. در نهایت، یک پروژه نهایی قابل اشتراک گذاری را تکمیل خواهید کرد که به شما امکان می دهد مهارت هایی را که در هر ماژول به دست آورده اید نشان دهید.

مهارت های پایتون خود را در این پروژه مهندسی داده به نمایش بگذارید! این دوره کوتاه برای به کارگیری مهارت های پایتون شما از طریق اجرای تکنیک های مختلف برای جمع آوری و دستکاری داده ها طراحی شده است. شما نقش یک مهندس داده را با استخراج داده ها از منابع متعدد و تبدیل داده ها به فرمت های خاص و آماده سازی آن برای بارگذاری در پایگاه داده برای تجزیه و تحلیل، بر عهده خواهید گرفت. همچنین دانش خود را در مورد خراش دادن وب و استفاده از APIها برای استخراج داده ها نشان خواهید داد. در پایان این پروژه عملی، شما مهارت خود را در مهارت های مهم برای استخراج تبدیل و بارگذاری داده ها با استفاده از یک IDE و البته برنامه نویسی پایتون نشان خواهید داد. پس از اتمام این دوره، شما همچنین یک محصول جدید عالی به مجموعه خود خواهید داشت! پیش نیاز: **دوره پایتون برای علم داده، هوش مصنوعی و توسعه** از IBM پیش نیاز این دوره پروژه است. لطفاً مطمئن شوید که قبل از گذراندن این دوره، دوره پایتون برای علوم داده، هوش مصنوعی و توسعه از IBM را گذرانده باشید یا مهارتی معادل در کار با پایتون و داده داشته باشید. توجه: این دوره آموزشی برای آموزش پایتون به شما نیست و محتوای آموزشی جدید زیادی ندارد. این برای شما در نظر گرفته شده است که بیشتر از دانش قبلی پایتون استفاده کنید.

با این دوره آموزشی IBM دنیای هیجان انگیز یادگیری ماشینی را کاوش کنید. قبل از باز کردن قدرت Apache Spark برای ساخت و استقرار مدل‌های ML برای برنامه‌های مهندسی داده، با یادگیری اصول ML شروع کنید. در تکنیک های یادگیری تحت نظارت و بدون نظارت غوطه ور شوید و از طریق خواندن و ویدئوهای آموزشی، امکانات انقلابی هوش مصنوعی مولد را کشف کنید. تجربه عملی با جریان ساختار یافته Spark به دست آورید، درکی از مهندسی داده و خطوط لوله ML ایجاد کنید و در ارزیابی مدل های ML با استفاده از SparkML ماهر شوید. در آزمایشگاه‌های عملی، شما از SparkML برای رگرسیون، طبقه‌بندی و خوشه‌بندی استفاده می‌کنید که به شما امکان می‌دهد مدل‌های پیش‌بینی و طبقه‌بندی بسازید. به خوشه‌های Spark متصل شوید، مجموعه داده‌های SparkSQL را تجزیه و تحلیل کنید، فعالیت‌های ETL را انجام دهید و مدل‌های ML را با استفاده از Spark ML و sci-kit Learn ایجاد کنید. در نهایت، مهارت های کسب شده خود را از طریق یک تکلیف نهایی نشان دهید. این دوره متوسط ​​​​برای مهندسین داده مشتاق و با تجربه و همچنین متخصصان فعال در تجزیه و تحلیل داده ها و یادگیری ماشین مناسب است. دانش قبلی در Big Data، Hadoop، Spark، Python و ETL برای این دوره به شدت توصیه می شود.