دو رویکرد مختلف برای تبدیل داده های خام به داده های آماده تجزیه و تحلیل را بررسی کنید. یک رویکرد فرآیند استخراج، تبدیل، بارگذاری (ETL) است. روش متضاد دیگر فرآیند استخراج، بارگذاری و تبدیل (ELT) است. فرآیندهای ETL برای انبارهای داده و بازارهای داده اعمال می شود. فرآیندهای ELT برای دریاچه‌های داده اعمال می‌شود، جایی که داده‌ها در صورت تقاضا توسط برنامه درخواست‌کننده/فرستنده تبدیل می‌شوند. در این دوره آموزشی با ابزارها و تکنیک های مختلفی که با خطوط لوله ETL و Data استفاده می شود آشنا خواهید شد. هر دو ETL و ELT داده‌ها را از سیستم‌های منبع استخراج می‌کنند، داده‌ها را از طریق خط لوله داده منتقل می‌کنند و داده‌ها را در سیستم‌های مقصد ذخیره می‌کنند. در طول این دوره، نحوه تفاوت پردازش ELT و ETL را تجربه خواهید کرد و موارد استفاده را برای هر دو شناسایی خواهید کرد. روش ها و ابزارهای مورد استفاده برای استخراج داده ها، ادغام داده های استخراج شده به صورت منطقی یا فیزیکی و برای بارگذاری داده ها در مخازن داده ها را شناسایی خواهید کرد. شما همچنین تغییراتی را برای اعمال به داده های منبع تعریف می کنید تا داده ها قابل اعتماد، متنی و در دسترس کاربران داده باشند. می‌توانید برخی از روش‌های چندگانه برای بارگذاری داده‌ها در سیستم مقصد، تأیید کیفیت داده‌ها، نظارت بر خرابی بار و استفاده از مکانیسم‌های بازیابی در صورت خرابی را تشریح کنید. در پایان این دوره، شما همچنین می‌دانید که چگونه از Apache Airflow برای ساخت خطوط لوله داده استفاده کنید و همچنین در مورد مزایای استفاده از این روش آگاه خواهید بود. همچنین یاد خواهید گرفت که چگونه از آپاچی کافکا برای ساخت خطوط لوله جریان و همچنین اجزای اصلی کافکا که شامل: کارگزاران، موضوعات، پارتیشن ها، تکرارها، تولیدکنندگان و مصرف کنندگان است، استفاده کنید. در نهایت، یک پروژه نهایی قابل اشتراک گذاری را تکمیل خواهید کرد که به شما امکان می دهد مهارت هایی را که در هر ماژول به دست آورده اید نشان دهید.

مهارت های پایتون خود را در این پروژه مهندسی داده به نمایش بگذارید! این دوره کوتاه برای به کارگیری مهارت های پایتون شما از طریق اجرای تکنیک های مختلف برای جمع آوری و دستکاری داده ها طراحی شده است. شما نقش یک مهندس داده را با استخراج داده ها از منابع متعدد و تبدیل داده ها به فرمت های خاص و آماده سازی آن برای بارگذاری در پایگاه داده برای تجزیه و تحلیل، بر عهده خواهید گرفت. همچنین دانش خود را در مورد خراش دادن وب و استفاده از APIها برای استخراج داده ها نشان خواهید داد. در پایان این پروژه عملی، شما مهارت خود را در مهارت های مهم برای استخراج تبدیل و بارگذاری داده ها با استفاده از یک IDE و البته برنامه نویسی پایتون نشان خواهید داد. پس از اتمام این دوره، شما همچنین یک محصول جدید عالی به مجموعه خود خواهید داشت! پیش نیاز: **دوره پایتون برای علم داده، هوش مصنوعی و توسعه** از IBM پیش نیاز این دوره پروژه است. لطفاً مطمئن شوید که قبل از گذراندن این دوره، دوره پایتون برای علوم داده، هوش مصنوعی و توسعه از IBM را گذرانده باشید یا مهارتی معادل در کار با پایتون و داده داشته باشید. توجه: این دوره آموزشی برای آموزش پایتون به شما نیست و محتوای آموزشی جدید زیادی ندارد. این برای شما در نظر گرفته شده است که بیشتر از دانش قبلی پایتون استفاده کنید.

این دوره یک درک عملی از دستورات پوسته لینوکس / یونیکس را ارائه می دهد. در این دوره آموزشی دوستانه مبتدی، با اصول لینوکس، دستورات شل و اسکریپت نویسی پوسته Bash آشنا خواهید شد. شما این دوره را با مقدمه ای بر لینوکس و بررسی معماری لینوکس آغاز خواهید کرد. شما با ترمینال لینوکس تعامل خواهید داشت، دستورات را اجرا می کنید، دایرکتوری ها را هدایت می کنید، فایل ها را ویرایش می کنید و همچنین نرم افزار را نصب و به روز می کنید. در مرحله بعد، با دستورات رایج لینوکس آشنا خواهید شد. شما با دستورات عمومی مانند id، date، uname، ps، top، echo، man کار خواهید کرد. دستورات مدیریت دایرکتوری مانند pwd، cd، mkdir، rmdir، find، df. دستورات مدیریت فایل مانند cat, wget, more, head, tail, cp, mv, touch, tar, zip, unzip. دستور کنترل دسترسی chmod; دستورات پردازش متن - wc، grep، tr؛ و همچنین دستورات شبکه - نام میزبان، پینگ، ifconfig و curl. سپس به یادگیری اصول اولیه اسکریپت نویسی پوسته برای خودکارسازی انواع وظایف خواهید پرداخت. شما اسکریپت‌های پوسته ساده تا پیشرفته‌تری ایجاد خواهید کرد که شامل متاکاراکترها، نقل قول، متغیرها، جایگزینی فرمان، تغییر مسیر ورودی/خروجی، لوله‌ها و فیلترها، و آرگومان‌های خط فرمان است. شما همچنین با استفاده از crontab کارهای cron را برنامه ریزی خواهید کرد. این دوره شامل سخنرانی های مبتنی بر ویدیو و همچنین آزمایشگاه های عملی برای تمرین و به کارگیری آنچه یاد می گیرید است. شما بدون هزینه به سرور مجازی لینوکس دسترسی خواهید داشت که می توانید از طریق مرورگر وب خود به آن دسترسی داشته باشید، بنابراین برای تکمیل آزمایشگاه ها نیازی به دانلود و نصب چیزی ندارید. شما این دوره را با یک پروژه نهایی و همچنین یک امتحان نهایی به پایان خواهید رساند. در پروژه نهایی، دانش خود را از مفاهیم دوره با انجام فرآیند استخراج، تبدیل، و بارگذاری (ETL) خود و ایجاد یک اسکریپت پشتیبان برنامه ریزی شده نشان خواهید داد. این دوره برای مهندسان داده، دانشمندان داده، توسعه‌دهندگان نرم‌افزار و متخصصان ابری ایده‌آل است که می‌خواهند با دستورات پرکاربرد در لینوکس، MacOS و سایر سیستم‌عامل‌های مشابه یونیکس آشنا شوند و همچنین با ایجاد اسکریپت‌های پوسته شروع کنند.