خطوط داده در پایه هر پلت فرم داده قوی قرار دارند. ساخت این خطوط لوله یک مهارت ضروری برای مهندسان داده است که ارزش باورنکردنی را برای کسب و کاری که آماده قدم گذاشتن به آینده مبتنی بر داده است، فراهم می کند. این دوره مقدماتی به شما کمک می کند تا مهارت های ایجاد خطوط لوله داده موثر، کارآمد و قابل اعتماد را تقویت کنید.

مهارت های dbt خود را با این دوره عملی که برای مهندسان داده و متخصصان تحلیلگر طراحی شده است به سطح بالاتری ببرید. ویژگی‌های پیشرفته dbt، از جمله استراتژی‌های آزمایش سفارشی، آزمایش‌های قابل استفاده مجدد، منابع، دانه‌ها و عکس‌های فوری را برای ردیابی تغییرات داده‌های تاریخی بررسی خواهید کرد. بیاموزید که چگونه خطوط لوله dbt را با استفاده از ساخت dbt خودکار کنید و از تغییرات قابل اعتماد و کارآمد در محیط های تولید اطمینان حاصل کنید. با تمرین‌های تعاملی و سناریوهای دنیای واقعی، اعتماد به نفس لازم برای پیاده‌سازی dbt را در جریان‌های کاری داده در مقیاس بزرگ به دست خواهید آورد.

در این دوره، درک عمیقی از مؤلفه‌های کلیدی که راه‌حل‌های داده مدرن را تشکیل می‌دهند و معماری‌های مختلف موجود با مزایا و معایب منحصربه‌فردشان را کشف خواهید کرد. از دریافت و ارائه داده ها گرفته تا مدیریت و هماهنگی، شما هر لایه را کاوش خواهید کرد و خواهید فهمید که چگونه آنها در ایجاد راه حل های داده قوی و مقیاس پذیر کمک می کنند. در پایان دوره، دانش و مهارت‌هایی برای طراحی و پیاده‌سازی معماری‌های داده مدرن خواهید داشت که نه تنها بینش‌های ارزشمندی را ارائه می‌کند، بلکه ملاحظات هزینه و امنیت را نیز در نظر می‌گیرد.

در سال 2019، میانگین حقوق مهندسان داده از دانشمندان داده پیشی گرفت. چگونه این اتفاق افتاد؟ شرکت‌هایی که می‌خواستند طلا را در داده‌های خود پیدا کنند، متوجه شدند که اگر هنوز معدن را نساخته بودند، امکان‌پذیر نبود. مهندسان داده پایه هایی را می گذارند که علم داده را ممکن می سازد. در این دوره آموزشی، با مسئولیت های اصلی مهندس داده، تفاوت آنها با دانشمندان داده و تسهیل جریان داده ها از طریق یک سازمان آشنا خواهید شد. از طریق تمرین‌های عملی، Spotflix، یک شرکت پخش موسیقی تخیلی را دنبال می‌کنید تا بفهمید مهندسان داده چگونه داده‌های آنها را جمع‌آوری، پاکسازی و فهرست‌بندی می‌کنند. در پایان دوره، متوجه خواهید شد که مهندسان داده شرکت شما چه می کنند، آماده گفتگو با یک مهندس داده هستید و پایه ای محکم برای شروع سفر مهندس داده خود دارید.

ویدیوها حاوی رونوشت‌های زنده هستند که با کلیک کردن روی "نمایش رونوشت" در پایین سمت چپ ویدیوها قابل دسترسی هستند.

واژه نامه دوره را می توانید در سمت راست در بخش منابع پیدا کنید.

برای کسب اعتبارات CPE باید دوره را تکمیل کنید و در ارزیابی واجد شرایط به نمره 70% برسید. می‌توانید با کلیک بر روی علامت اعتبارات CPE در سمت راست به ارزیابی بروید.

در چند سال گذشته سر و صدای زیادی در مورد Big Data وجود داشته است و در نهایت برای بسیاری از شرکت ها به جریان اصلی تبدیل شده است. اما این کلان داده چیست؟ این دوره اصول Big Data را از طریق PySpark پوشش می دهد. Spark یک چارچوب "محاسبات خوشه ای سریع رعد و برق" برای داده های بزرگ است. این یک موتور پلت فرم پردازش داده کلی را ارائه می دهد و به شما امکان می دهد برنامه ها را تا 100 برابر سریعتر در حافظه یا 10 برابر سریعتر روی دیسک نسبت به Hadoop اجرا کنید. شما از PySpark، یک بسته Python برای برنامه نویسی Spark و کتابخانه های قدرتمند و سطح بالاتر آن مانند SparkSQL، MLlib (برای یادگیری ماشین) استفاده خواهید کرد. کارهای ویلیام شکسپیر را بررسی خواهید کرد، داده های Fifa 2018 را تجزیه و تحلیل خواهید کرد و بر روی مجموعه داده های ژنومی خوشه بندی خواهید کرد. در پایان این دوره، شما درک عمیقی از PySpark و کاربرد آن در تجزیه و تحلیل کلی داده های بزرگ به دست خواهید آورد.

این دوره شما را از ابتدا تا انتها راهنمایی می کند که چگونه پلتفرم Databricks Lakehouse یک پلت فرم واحد، مقیاس پذیر و کارآمد را برای فرآیندهای داده شما فراهم می کند. همانطور که روی یک مجموعه داده دنیای واقعی کار می کنید، یاد خواهید گرفت که چگونه وظایف مختلفی را در پلت فرم Databricks انجام دهید. در طول این دوره، با ویژگی‌های مختلف پلتفرم Databricks Lakehouse آشنا می‌شوید و تمرین می‌کنید و خواهید دید که چگونه می‌توان آن‌ها را در موارد مختلف استفاده از داده اعمال کرد.

استریمینگ جنبه بزرگی از دنیای داده در حال حاضر است و تقریباً در هر صنعت از تولید تا مراقبت های بهداشتی استفاده می شود. آیا می‌خواهید درباره مفاهیم کلی پشت خطوط لوله داده و نحوه عملکرد فرآیندها بیشتر بدانید؟

این دوره مقدمه ای کلی بر مفاهیم استریم از جمله دسته بندی، صف بندی، و پردازش جریانی همراه با جایی که آنها در چارچوب های پردازش داده قرار می گیرند، ارائه می دهد. این نمونه‌های واقعی از نحوه اجرای استریم در تولید را پوشش می‌دهد. این به عنوان یک مقدمه کلی برای این مفاهیم طراحی شده است و به پیشینه گسترده ای در پردازش داده ها نیاز ندارد.

این دوره مقدماتی و مفهومی به شما کمک می کند تا اصول انبارداری داده را درک کنید. از طریق نمونه‌های صنعتی و مجموعه داده‌های دنیای واقعی، درک قوی از مبانی انبار داده‌ها به دست خواهید آورد.

برخی پیش‌بینی کرده‌اند که انتظار می‌رود بازار جهانی انبار داده در سال 2028 به بیش از 50 میلیارد دلار برسد. این صنعت طی سال‌ها به تکامل خود ادامه داده است و یکی از اجزای حیاتی انقلاب داده برای بسیاری از سازمان‌ها بوده است. هرگز زمان بهتری برای یادگیری در مورد انبار داده وجود نداشته است.

این دوره را برای بینش عملی در مورد تجزیه و تحلیل داده ها آغاز کنید. معماری BigQuery را کاوش کنید، پرس و جوهای تحلیلی را اجرا کنید و گردش کار را بهینه کنید. در پیمایش مجموعه داده ها، عناصر پرس و جو و دستکاری داده ها اعتماد به نفس به دست آورید. تکنیک های پیشرفته برای تجزیه و تحلیل کارآمد را باز کنید و در هنر پیوستن به داده ها مسلط شوید. پس از تکمیل، BigQuery را به طور موثر پیمایش کنید، پرس و جوها را بهینه کنید و داده ها را به سرعت تجزیه و تحلیل کنید.

به دنیای Databricks خوش آمدید! در این دوره، شما با پلتفرم Databricks Lakehouse آشنا می شوید و خواهید فهمید که چگونه معماری داده ها را با استفاده از پارادایم جدید Lakehouse مدرن می کند. شما اجزای اساسی Databricks از جمله UI، معماری پلتفرم و مدیریت فضای کاری را بررسی خواهید کرد. تمرین‌های تعاملی شما را از طریق پرسش‌های SQL، ویژگی‌های پلتفرم و اتصالات سیستم خارجی برای مدیریت کارآمد داده و یکپارچه‌سازی یکپارچه راهنمایی می‌کنند. علاوه بر این، شما در پلتفرم Databricks Data Intelligence که مدیریت داده ها، قابلیت های محاسباتی، مدیریت کاتالوگ و جذب داده ها را پوشش می دهد، کاوش خواهید کرد. همچنین یاد خواهید گرفت که از Databricks به‌عنوان راه‌حل ذخیره‌سازی داده برای هوش تجاری (BI) استفاده کنید و از قابلیت‌های بهینه‌شده SQL برای ایجاد پرسش‌ها و تجزیه و تحلیل داده‌ها استفاده کنید.

هر سازمانی برای اجرای تحلیل‌های حیاتی هوش تجاری به قابلیت ذخیره‌سازی داده نیاز دارد. در طول سال‌ها، ابزارهای مختلفی برای برآورده کردن این نیازها وجود داشته است، اما اغلب پشته‌های فن‌آوری جداگانه‌ای بودند که برای همگام شدن با نیازها و مقیاس داده‌های مدرن تلاش می‌کردند.

Databricks یک پلت فرم اطلاعات قدرتمند است که می تواند بسیاری از نیازهای تحلیلی یک سازمان را برآورده کند. با استفاده از Databricks SQL، یک سازمان می تواند از یک راه حل انبار داده فوق مقیاس پذیر و کارآمد به طور مستقیم در معماری lakehouse استفاده کند.

در این دوره آموزشی، با اجزای کلیدی و گردش کار در Databricks SQL آشنا می شوید.

ابتدا، نحوه استفاده از Databricks SQL را برای انجام وظایف مختلف مهندسی داده و انتقال داده های خود از طریق معماری مدالیون برای خدمت به تیم های داده یاد خواهید گرفت. شما تکنیک‌های رایجی را که بسیاری از مهندسان داده استفاده می‌کنند، نحوه انتخاب بین تکنیک‌های مختلف ذخیره‌سازی داده‌ها و نحوه به‌روز نگه‌داشتن داده‌های خود به دست خواهید آورد.

در مرحله بعد، یاد خواهید گرفت که چگونه داده های خود را در Databricks SQL تجزیه و تحلیل کنید، همانطور که بسیاری از تحلیلگران داده در صنعت انجام می دهند. با استفاده از SQL مبتنی بر ANSI، توابع و تکنیک‌های رایج را یاد می‌گیرید، و سپس تجسم‌ها و داشبوردهای درون پلتفرمی ایجاد می‌کنید تا بهتر داستانی درباره داده‌های خود بگویید.

در نهایت، تکنیک های پیشرفته تری را یاد خواهید گرفت که از تمایزات کلیدی پلت فرم Databricks استفاده می کند. شما یاد خواهید گرفت که چگونه با استفاده از توابع پنجره، داده های با سرعت بالا و تغییر سریع را مدیریت کنید، و می توانید مجموعه داده ها را به محض ورود با یکدیگر ادغام کنید.

این دوره شما را با dbt (ابزار ساخت داده) آشنا می‌کند، ابزار محبوبی که باعث ایجاد مهندسی تجزیه و تحلیل برای ایجاد و نگهداری خطوط لوله استخراج، تبدیل و بارگذاری (ELT) شده است. شما یاد خواهید گرفت که انبارهای داده بسازید، مدل سازی و تبدیل داده ها را انجام دهید و آزمایش هایی را برای انجام اعتبارسنجی داده ها طراحی کنید. شما از دستورات SQL و shell برای انجام انواع وظایف با dbt و همچنین کشف نحوه ایجاد اسناد برای کاربران انبار خود استفاده خواهید کرد!

از ساختارهای پایگاه داده سفت و سخت رها شوید و قدرت MongoDB را کشف کنید، پایگاه داده اسنادی که با داده های شما سازگار است. در این دوره عملی، شما بر عملیات MongoDB از طریق کتابخانه PyMongo مسلط خواهید شد. شما اسناد را پرس و جو، فیلتر و دستکاری می‌کنید و یاد می‌گیرید که چگونه از طرح منعطف MongoDB استفاده کنید و در عین حال اعتبارسنجی را زمانی که ساختار مهم است پیاده‌سازی کنید. از عملیات اولیه CRUD گرفته تا عملگرهای جستجوی پیشرفته، مرتب‌سازی، پیش‌بینی و عملیات انبوه، مهارت‌های عملی برای ساخت و نگهداری برنامه‌های داده مدرن به دست خواهید آورد. این دوره شما را با مهارت های ضروری MongoDB که متخصصان داده امروزی به آن نیاز دارند، مجهز می کند.

این دوره برای مهندسان داده، دانشمندان داده و متخصصان یادگیری ماشین طراحی شده است که به دنبال کار با مجموعه داده های بزرگ با استفاده از PySpark هستند. شما سرعت و مقیاس‌پذیری Apache Spark را بررسی خواهید کرد، یاد خواهید گرفت که جلسات Spark ایجاد کنید، با RDD کار کنید و DataFrames را از طریق تمرین‌های عملی دستکاری کنید. این دوره همچنین PySpark SQL را پوشش می دهد و به شما یاد می دهد که چگونه داده ها را با SQL جستجو کنید، طرحواره ها و انواع داده های پیچیده را مدیریت کنید و عملکرد را در محیط های توزیع شده بهینه کنید. در پایان، مهارت‌های اساسی برای پردازش و تجزیه و تحلیل کلان داده‌ها را خواهید داشت که زمینه را برای برنامه‌های کاربردی پیشرفته مانند یادگیری ماشین و تجزیه و تحلیل داده‌های بزرگ فراهم می‌کند.

این دوره یک درک اساسی از Amazon Redshift، یک پایگاه داده ستونی توزیع شده در ابر AWS ارائه می دهد. ادغام آن در اکوسیستم AWS و ساختارهای SQL آن، از جمله عبارات جدول رایج و جستارهای تحلیلی را کاوش کنید. ایجاد جداول، مدیریت توزیع داده ها، مدیریت فایل های داده خام و استخراج اطلاعات از JSON را بیاموزید. علاوه بر این، پرس و جوها را بهینه کنید، عملکرد را تنظیم کنید و امنیت داده ها را افزایش دهید. در پایان دوره، شما تسلط قوی بر SQL در Redshift و دانش و مهارت های لازم برای استفاده موثر از Redshift خواهید داشت.

به دنیای Snowflake شیرجه بزنید! این دوره به شما اصول Snowflake SQL را آموزش می دهد - طعم منحصر به فرد SQL که برای تعامل با انبارهای داده Snowflake استفاده می شود. خواهید دید که Snowflake SQL چگونه با PostgreSQL مقایسه و در تضاد است و در مورد انواع داده ها و توابع اطلاعاتی کسب خواهید کرد. این دوره شما را با رویکردهای مختلف برای ساخت پرس و جوهای پیچیده SQL، از جمله اتصالات طبیعی و جانبی، پرس و جو فرعی و عبارات جدول رایج آشنا می کند. با بررسی تکنیک‌هایی برای بهینه‌سازی پرسش‌های خود به پایان رسید و نحوه ذخیره و جستجوی مؤثر داده‌های نیمه ساختاریافته را کشف کنید!

R عمدتاً برای کمک به نوشتن کد تجزیه و تحلیل داده ها به سرعت و خوانا بهینه شده است. Apache Spark برای تجزیه و تحلیل سریع مجموعه داده های عظیم طراحی شده است. بسته sparklyr به شما امکان می دهد کد dplyr R را بنویسید که روی یک کلاستر Spark اجرا می شود و بهترین های هر دو دنیا را در اختیار شما قرار می دهد. این دوره به شما می آموزد که چگونه Spark DataFrames را با استفاده از رابط dplyr و رابط بومی Spark و همچنین استفاده از تکنیک های یادگیری ماشینی دستکاری کنید. در طول دوره، مجموعه داده میلیون آهنگ را کاوش خواهید کرد.

این دوره یک پایه محکم در آپاچی کافکا فراهم می کند. شما با درک هدف اصلی و اجزای یک نصب کافکا، از جمله موضوعات، تولیدکنندگان و مصرف کنندگان شروع خواهید کرد. همانطور که پیشرفت می کنید، با ZooKeeper در معماری کافکا، کاوش در سرورها، کارگزاران و مدیریت خوشه ها کاوش خواهید کرد. این دوره همچنین ایجاد و مدیریت موضوعات کافکا را پوشش می دهد و شما را با ابزارهای ضروری عیب یابی مجهز می کند. در پایان، شما به طور کامل از آپاچ کافکا، برای مقابله با چالش‌های جریان داده در دنیای واقعی آشنا خواهید شد.

این دوره یک پایه محکم در آپاچی کافکا فراهم می کند. شما با درک هدف اصلی و اجزای یک نصب کافکا، از جمله موضوعات، تولیدکنندگان و مصرف کنندگان شروع خواهید کرد. همانطور که پیشرفت می کنید، با ZooKeeper در معماری کافکا، کاوش در سرورها، کارگزاران و مدیریت خوشه ها کاوش خواهید کرد. این دوره همچنین ایجاد و مدیریت موضوعات کافکا را پوشش می دهد و شما را با ابزارهای ضروری عیب یابی مجهز می کند. در پایان، شما به طور کامل از آپاچ کافکا، برای مقابله با چالش‌های جریان داده در دنیای واقعی آشنا خواهید شد.

اکنون به آپاچی Airflow 2.7 به‌روزرسانی شده است - تحویل داده‌ها بر اساس برنامه زمانی می‌تواند یک فرآیند دستی باشد. شما اسکریپت می نویسید، وظایف پیچیده cron را اضافه می کنید، و راه های مختلفی را برای برآورده کردن مجموعه ای از الزامات در حال تغییر امتحان می کنید - و مدیریت همه چیز هنگام کار با هم تیمی ها دشوارتر است. Apache Airflow می‌تواند این سردرد را با اضافه کردن زمان‌بندی، مدیریت خطا و گزارش‌دهی به گردش‌های کاری شما برطرف کند. در این دوره، شما بر اصول اولیه Apache Airflow مسلط خواهید شد و نحوه پیاده سازی خطوط لوله مهندسی داده پیچیده در تولید را یاد خواهید گرفت. همچنین یاد خواهید گرفت که چگونه از نمودارهای غیر چرخه ای جهت دار (DAGs) استفاده کنید، گردش کار مهندسی داده را خودکار کنید، و وظایف مهندسی داده را به روشی آسان و قابل تکرار اجرا کنید - به شما کمک می کند تا سلامت عقل خود را حفظ کنید.