صف پیام مقیاس پذیر و توزیع شده نقش مهمی در ساخت خطوط لوله داده بزرگ در زمان واقعی دارد. مدل‌های ناشر/مشترک ناهمزمان برای مدیریت بارهای غیرقابل پیش‌بینی در این خطوط لوله مورد نیاز است. آپاچی کافکا تکنولوژی پیشرو امروزی است که این قابلیت ها را فراهم می کند و یک مهارت ضروری برای یک متخصص داده های بزرگ است. در این دوره، Kumaran Ponnambalam بینش هایی را در مورد جنبه های مقیاس پذیری و مدیریت کافکا ارائه می دهد و نحوه ساخت برنامه های ناهمزمان با کافکا و جاوا را نشان می دهد. کوماران با نشان دادن نحوه راه اندازی یک خوشه کافکا شروع می کند و اصول برنامه نویسی جاوا را در کافکا بررسی می کند. سپس به بررسی گزینه های مختلف پیام رسانی و طرحواره های موجود می پردازد. کوماران همچنین قبل از پایان دادن به پروژه مورد استفاده که دروس ارائه شده در دوره را به کار می‌برد، بهترین روش‌ها را برای طراحی برنامه‌های کاربردی کافکا بررسی می‌کند.

 آیا برای آزمون Microsoft Azure Data Engineering (DP-203) آماده می شوید یا به دنبال درک بهتری از نحوه طراحی و توسعه پردازش داده هستید؟ این دوره، دومین دوره از یک سری، می تواند به شما کمک کند. نوح گیفت، بنیانگذار Pragmatic A.I. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون، نحوه طراحی و توسعه پردازش داده با Azure را پوشش می دهد. نوح به شما نشان می دهد که چگونه از Apache Spark، Data Factory و Databricks برای جذب و تبدیل داده ها در Azure استفاده کنید. او به پاکسازی داده ها و کارهای رایج تبدیل داده می پردازد، سپس به سراغ راه حل های پردازش دسته ای می رود. پس از توضیح نحوه ادغام نوت‌بوک‌های Jupyter/Python در خط لوله داده‌ها، نوح درباره پردازش جریان، تفاوت‌های بین پردازش جریانی و دسته‌ای و استفاده از راه‌حل Azure Data Factory برای مدیریت دسته‌ها و خطوط لوله صحبت می‌کند.

توجه: این دوره توسط نوح گیفت ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.

 

آزمون گواهینامه Databricks Certified Data Engineer Associate توانایی شما را در استفاده از پلتفرم Databricks Lakehouse برای تکمیل وظایف اولیه مهندسی داده ارزیابی می کند. همچنین توانایی شما را در استفاده از Apache Spark SQL و Python برای انجام وظایف ETL معماری multihop که به صورت تدریجی داده‌های جدید را از منابع مختلف داده پردازش می‌کند تا برنامه‌های تحلیلی و داشبورد در Lakehouse را تقویت کند، ارزیابی می‌کند.

در این دوره، مربی Noah Gift آموزش عملی و عملی در مورد مفاهیم اصلی و مهارت های تحت پوشش در بخش دوم امتحان ارائه می دهد: ELT با اسپارک آپاچی. اصول تبدیل داده ها را با Apache Spark، از جمله نحوه نصب و استفاده از IntelliJ برای Databricks با Go، Databricks CLI، Databricks برای RStudio، Notebooks، پشتیبانی چند زبانه، Databricks Repos و موارد دیگر را بررسی کنید.

 

آزمون گواهینامه Databricks Certified Data Engineer Associate توانایی شما را در استفاده از پلتفرم Databricks Lakehouse برای تکمیل وظایف اولیه مهندسی داده ارزیابی می کند. همچنین توانایی شما را در استفاده از Apache Spark SQL و Python برای انجام وظایف ETL معماری multihop که به صورت تدریجی داده‌های جدید را از منابع مختلف داده پردازش می‌کند تا برنامه‌های تحلیلی و داشبورد در Lakehouse را تقویت کند، ارزیابی می‌کند.

در این دوره، مربی نوح گیفت، آموزش عملی و عملی در مورد مفاهیم و مهارت های اصلی تحت پوشش در بخش سوم آزمون ارائه می دهد: پردازش داده های افزایشی. اصول مدیریت داده را با Delta Lake، از جمله تبدیل کارآمد داده با Spark SQL، با استفاده از Catalog Explorer، ایجاد جداول از فایل‌ها، جستجو در منابع داده خارجی و بازرسی جداول، تراکنش‌های ACID، ترتیب Z، و موارد دیگر بررسی کنید.

 

آزمون گواهینامه Databricks Certified Data Engineer Associate توانایی شما را در استفاده از پلتفرم Databricks Lakehouse برای تکمیل وظایف اولیه مهندسی داده ارزیابی می کند. همچنین توانایی شما را در استفاده از Apache Spark SQL و Python برای انجام وظایف ETL معماری multihop که به صورت تدریجی داده‌های جدید را از منابع مختلف داده پردازش می‌کند تا برنامه‌های تحلیلی و داشبورد در Lakehouse را تقویت کند، ارزیابی می‌کند.

در این دوره، مربی نوح گیفت، آموزش عملی و عملی در مورد مفاهیم اصلی و مهارت های پوشش داده شده در قسمت دوم بخش پنجم آزمون ارائه می دهد. اصول دسترسی به داده‌ها را با Unity Catalog، کاتالوگ‌ها در مقابل متاستورها، شروع سریع Unity Catalog با Python، اعمال امنیت شی، و بهترین روش‌ها برای کاتالوگ‌ها، اتصالات و واحدهای تجاری را بررسی کنید.

 در این دوره برای آزمون کاردانی مهندسی داده گواهی شده Databricks آماده شوید. مربی نوح گیفت شما را از طریق موضوعاتی که باید بدانید، با مقدمه ای بر پلت فرم Databricks Lakehouse شروع می کند. سپس با Apache Spark، مدیریت داده‌ها با Delta Lake، خطوط لوله داده‌ها با جداول زنده دلتا، بارهای کاری با مشاغل، و دوره را با نگاهی به دسترسی به داده‌ها با Unity Catalog به پایان می‌رساند.

 در این دوره ، متخصص MLOPS ، ماریا وختومووا ، مؤلفه ها و اصولی را معرفی می کند که باید درک کنید تا با موفقیت مدل های یادگیری ماشین را برای تولید در پایگاه داده ها مستقر کنید. وارد فرآیند گام به گام استفاده از مهندسی ویژگی در کاتالوگ وحدت ، ردیابی آزمایش های مدل در MLFlow ، ثبت یک مدل در کاتالوگ وحدت و استقرار مدل خود با استفاده از مدل Databricks Model. مواردی را که در آن می توان از ویژگی های استفاده استفاده کرد ، کاوش کنید و نحوه استقرار یک ویژگی سرویس دهی را پیدا کنید. به علاوه ، یاد بگیرید که چگونه کد خود را بسته بندی کنید ، پروژه خود را با استفاده از بسته های دارایی Databricks مستقر کنید و برنامه ML خود را با استفاده از جداول استنتاج و نظارت بر دریاچه نظارت کنید.

 در این دوره یاد بگیرید که چگونه از Rust برای ساخت خطوط لوله داده با کارایی بالا استفاده کنید که می توانید در مهندسی داده، ML Ops و مهندسی نرم افزار سنتی استفاده کنید. Rust ایمنی، سرعت و کنترل سطح پایین را برای برنامه نویسی سیستم ها فراهم می کند و مربی نوح گیفت این جنبه ها را در چهار بخش این دوره به تصویر می کشد. نوح شروع به بررسی ویژگی های کلیدی Rust، از جمله HashMaps و وکتورها می کند. او سپس نگاهی به ایمنی، امنیت و همزمانی با Rust می اندازد. در بخش سوم، نوح کتابخانه‌ها و ابزارهای محبوب مهندسی داده Rust را پوشش می‌دهد و دوره را با نگاهی به طراحی سیستم‌های پردازش داده در Rust به پایان می‌رساند.

 PySpark یک کتابخانه قدرتمند است که قابلیت‌های محاسباتی توزیع شده Apache Spark را به پایتون می‌آورد و آن را به ابزاری کلیدی برای پردازش کارآمد داده‌های مقیاس بزرگ تبدیل می‌کند. در این دوره، مهندس داده و تحلیلگر Sam Bail، مقدمه ای ساختاریافته و عملی برای PySpark ارائه می دهد که با مروری بر آپاچی اسپارک، معماری و اکوسیستم آن شروع می شود. قبل از راه‌اندازی یک محیط آزمایشگاهی و کار با مجموعه داده واقعی، در مورد مفاهیم اصلی Spark، مانند DataFrame API، تبدیل‌ها، ارزیابی‌های تنبل و اقدامات اطلاعاتی کسب کنید. به‌علاوه، بینش‌هایی در مورد اینکه PySpark چگونه با یک اکوسیستم مهندسی داده‌های گسترده‌تر و بهترین شیوه‌های اجرای PySpark در یک محیط تولیدی سازگار می‌شود، به دست آورید.

 در این دوره ، بیاموزید که چگونه فناوری و داده ها می توانند تلاش های پایداری را تغییر داده و راه را برای آینده ای باهوش تر و سبز تر هموار کنند. مربی Talal Gedeon پایه و اساس محکمی را در زمینه استفاده از هوش مصنوعی و مهندسی داده ها برای تدوین راه حل های نوآورانه برای رسیدگی به چالش های زیست محیطی ، ایجاد شکاف بین مهارت های پیشرفته فن آوری و کاربردهای عملی در پایداری فراهم می کند. تکنیک های جمع آوری داده ها ، از جمله راه حل های IoT و AI ، را کشف کنید تا ببینید که چگونه می توانید پروژه های پایداری خود را متحول کنید.

 

اگر واقعاً می‌خواهید اطلاعات خود را استخراج کنید، باید بدانید که چگونه داده‌های خود را تغییر دهید. در این دوره، مربی پوجا جین به شما نشان می‌دهد که چگونه مهارت‌های خود را به‌عنوان یک دانشمند داده به سطح بالاتری برسانید و مهندس داده شوید.

مبانی مهندسی داده و چشم‌انداز شغلی پیش‌بینی‌شده این نقش را کاوش کنید. یک نمای کلی جامع از مخزن داده، از جمله مزایا، معایب، و جنبه های مختلف انبار داده و دریاچه داده دریافت کنید. Pooja بینش هایی در مورد پردازش داده ها، امنیت و انطباق و همچنین محاسبات ابری برای مهندسان داده ارائه می دهد. در پایان این دوره، شما به دانش فنی و مهارت هایی که برای تغییر از دانشمند داده به مهندس داده به آسانی نیاز دارید، مجهز خواهید شد.

 قبل از پیشرفت به موضوعات پیشرفته تر مخصوص مهندسی داده، با اصول اولیه پایتون آشنا شوید و اجرا کنید. در این دوره عملی و تعاملی، به مربی دیپاک گویال بپیوندید تا انجام طیف گسترده ای از وظایف مهندسی داده در پایتون را تمرین کنید تا دانش فنی خود را تقویت کنید، برای مصاحبه آماده شوید یا نقش جدیدی را به دست آورید. این دوره شامل چالش های کد است که توسط CoderPad طراحی شده است. چالش‌های کد، تمرین‌های کدنویسی تعاملی با بازخورد بلادرنگ هستند، بنابراین می‌توانید برای پیشبرد مهارت‌های کدنویسی خود تمرین کدنویسی را انجام دهید. دیپک به شما کمک می کند تا مهارت های خود را به عنوان یک برنامه نویس پایتون با شش چالش برنامه نویسی خاص تقویت کنید. اصول زبان، مجموعه‌های پایتون، مدیریت فایل، پانداها، NumPy، OOP و ابزارهای پیشرفته مهندسی داده‌ای که از پایتون استفاده می‌کنند را کاوش کنید. این دوره با یک پروژه اصلی متمرکز بر تجزیه و تحلیل خرده فروشی به پایان می رسد.

 

این دوره به مهندسان تحلیلی می آموزد که چگونه داده ها را از یک منبع خارجی برای استفاده در تجسم به پایگاه داده خط لوله می کنند. چنین کارهایی اغلب از یک مهندس متوسط ​​تجزیه و تحلیل مورد نیاز است. شرکت مدرن نسبت به گذشته به داده ها دسترسی بیشتری دارد. مهندسان تحلیلی در دسترسی به این داده ها برای ذینفعان بسیار مهم هستند. در این دوره ، مربی کانر دیکسون سناریویی را ارائه می دهد که در آن یک پشته داده کار دارید و یک ذینفع از شما خواسته است که داده های موجود را از یک منبع بگیرید ، آن را به پایگاه داده بیاورید ، آن را تغییر دهید و در نهایت آن را تجسم کنید تا ارزش و بینش را ارائه دهد.

این دوره با CodeSpaces GitHub ، یک محیط توسعه دهنده ابر فوری که تمام عملکردهای IDE مورد علاقه شما را بدون نیاز به تنظیمات محلی محلی ارائه می دهد ، یکپارچه شده است. با استفاده از Codepaces GitHub ، می توانید از هر دستگاهی ، در هر زمان استفاده کنید-همه در حالی که از ابزاری استفاده می کنید که احتمالاً در محل کار با آن روبرو خواهید شد. برای یادگیری نحوه شروع کار ، فیلم "نحوه استفاده از CodeSpaces" را بررسی کنید.

 دنیای مهندسی داده همواره در حال تغییر است و ابزارها و فناوری های جدیدی به طور منظم در حال ظهور هستند. ساختن یک پلتفرم تحلیلی موثر می‌تواند یک کار دلهره‌آور باشد، به خصوص اگر با همه ابزارهای موجود آشنا نباشید. چگونه داده های پراکنده و پیچیده را به مدلی تبدیل می کنید که بینش و تصمیم گیری را هدایت می کند؟ در این دوره، Thalia Barrera به متخصصان داده آموزش می دهد که چگونه یک پروژه مهندسی داده را با استفاده از ابزارهای باز از پشته داده مدرن پیاده سازی کنند. او بهترین روش‌ها مانند مدل‌سازی داده، آزمایش، مستندسازی و کنترل نسخه را لمس می‌کند و به شما نشان می‌دهد که چگونه داده‌ها را به طور موثر استخراج، بارگیری و تبدیل به یک قالب یکپارچه و آماده برای تجزیه و تحلیل کنید. Thalia به شما نشان می دهد که چگونه از طریق مثال های عملی ابزارها را با اطمینان انتخاب کرده و از آنها استفاده کنید - که شما را در ساخت یک خط لوله داده قوی برای یک شرکت تجارت الکترونیک خیالی هدایت می کند - و نحوه اجرای بهترین شیوه ها در مهندسی داده.

 مهندسان داده هر روز با طیف گسترده ای از مشکلات و اغلب با انواع مختلفی از مشکلات روبرو می شوند. در این دوره، آندریاس کرتز، مهندس داده، شما را از طریق انواع مشکلات رایجی که ممکن است با آنها روبرو شوید، راهنمایی می کند و استراتژی های حل مسئله خود را برای مشکلات معمولی در تمام مراحل پروژه های مهندسی به اشتراک می گذارد. آندریاس به شما می آموزد که چگونه تشخیص دهید که در کدام مرحله از یک پروژه داده قرار دارید - برنامه ریزی، طراحی، اجرا و عملیات - و راه حل هایی را با هدف مشکلاتی که ممکن است در هر مرحله با آنها روبرو شوید به اشتراک می گذارد. آندریاس به شما می‌آموزد که چگونه شاخص‌های کلیدی عملکرد دانش (KPI) را در برنامه‌ریزی شناسایی کنید، چگونه هزینه‌ها را پیش‌بینی کنید و در مرحله طراحی مقیاس بهتری داشته باشید، چرایی و چگونه ارزیابی ریسک را توضیح می‌دهد، و نکاتی را در مورد رفع اشکال و راه‌هایی که می‌توانید بهبود دهید به اشتراک می‌گذارد. روند شما اگر به دنبال راه‌های بهتری برای مقابله با مسائل مهندسی داده‌ها هستید، در این دوره آموزشی با Andreas همراه باشید تا مهارت‌های حل مسئله خود را به سطح بالاتری برسانید.

 

آیا به دنبال بلند شدن و دویدن با SQL به عنوان مهندس داده هستید ، اما مطمئن نیستید که از کجا شروع کنید؟ در این دوره ، مربی Deepak Goyal یک مرور کلی از SQL را که به طور خاص در مهندسان داده ها هدف قرار گرفته است ، از نمایش داده های اساسی و کارهای تحلیلی گرفته تا توابع پیشرفته و مدیریت داده ها ارائه می دهد. چرا SQL یکی از زبانهای برنامه نویسی متداول و گسترده برای مهندسان داده است. مهارت های اساسی در دستکاری داده ها ، نمایش داده ها ، کارکردها ، نمایش ها و رویه های ذخیره شده ، فهرست ها و عملکرد ، امنیت بانک اطلاعاتی ، اشکال زدایی ، ETL و موارد دیگر را کاوش کنید. این دوره با یک پروژه نهایی در دنیای واقعی مبتنی بر تجزیه و تحلیل مطالبات بیمه نتیجه می گیرد. با استفاده از برنامه های GitHub ، می توانید از هر دستگاهی ، در هر زمان و در حالی که از ابزاری استفاده می کنید که احتمالاً در محل کار با آن روبرو خواهید شد ، از هر دستگاهی استفاده کنید. برای یادگیری نحوه شروع کار ، از فیلم "استفاده از CodeSpaces GitHub با این دوره" دیدن کنید.

 در این دوره ، Master Databricks برای تبدیل شدن به یک مهندس داده ACE. بیاموزید که چگونه می توانید به صورت تخصصی اشکال زدایی ، پردازش و تجزیه و تحلیل مقادیر عظیمی از داده ها و ایجاد راه حل های مقیاس پذیر به عنوان مربی Deepak Goyal شما را از طریق شیرجه عمیق در مورد نحوه عملکرد پلت فرم Databricks راهنمایی کنید. تحول pyspark و Spark SQL را در پایگاه داده ها ، به همراه نحوه خواندن و نوشتن DataFrame در Databricks کاوش کنید. به علاوه ، در مورد دریاچه دلتا ، به بهینه سازی ها ، برنامه ریزی نوت بوک ، مدیریت خوشه ، گردش کار و موارد دیگر بیاموزید.

 قبل از پیشرفت به موضوعات پیشرفته تر مخصوص مهندسی داده ، با اصول اولیه پایتون بلند شوید و اجرا کنید. در این دوره دستی و تعاملی ، به مربی Deepak Goyal بپیوندید تا طیف گسترده ای از کارهای مهندسی داده را در پایتون انجام دهید تا دانش فنی خود را تقویت کنید ، برای مصاحبه آماده شوید یا نقش جدیدی را به وجود آورید. این دوره شامل چالش های کد است که توسط CoderPad تهیه شده است. چالش های کد تمرینات برنامه نویسی تعاملی با بازخورد در زمان واقعی است ، بنابراین می توانید برای پیشبرد مهارت های برنامه نویسی خود ، از تمرین کد نویسی استفاده کنید. Deepak به شما کمک می کند تا مهارت های خود را به عنوان یک برنامه نویس پایتون با شش چالش برنامه نویسی خاص تقویت کنید. اصول اولیه زبان ، مجموعه های پایتون ، دست زدن به پرونده ، پاندا ، Numpy ، OOP و ابزارهای پیشرفته مهندسی داده را که از پایتون استفاده می کنند ، کاوش کنید. این دوره با یک پروژه نهایی متمرکز بر تجزیه و تحلیل خرده فروشی به پایان می رسد.

 این دوره مفصل موضوعات و مهارتهای مورد نیاز برای موفقیت را به عنوان یک مهندس تحلیلی در بر می گیرد. مربی کانر دیکسون نشان می دهد که چگونه مهندسی تحلیلی شکاف بین مهندسی داده ها و تجزیه و تحلیل داده ها را نشان می دهد و می تواند به شما کمک کند یک چاقوی ارتش سوئیس مهارت های تحلیلی باشید. پس از اتمام این دوره ، شما باید بتوانید با استفاده از محبوب ترین ابزارهایی مانند SQL ، Python ، DBT ، Tableau و موارد دیگر با داده ها کار کنید.

 علم داده را می توان به طور کلی به عنوان فرآیند مفید ساختن داده ها تعریف کرد و مهندسی داده بخش مهمی از چگونگی و چرایی آن است. اگر به علم داده مانند یک ماشین مسابقه فکر می کنید، مهندسان داده خدمه پیت هستند. آنها ماشین را نمی‌رانند، اما رانندگی ماشین را بسیار آسان‌تر می‌کنند. مهندسان داده اطمینان حاصل می کنند که جریان داده ها به خوبی اجرا می شود، سیستم ها را نظارت می کنند، مشکلات را پیش بینی می کنند و در صورت بروز مشکل خط لوله داده را تعمیر می کنند. آنها داده ها را از چندین منبع استخراج و جمع آوری می کنند و آن را در یک پایگاه داده واحد و آسان برای پرس و جو بارگذاری می کنند. به طور خلاصه، مهندسان داده زندگی دانشمندان داده را آسان تر می کنند.

در این دوره، هارشیت تیاگی اصول مهندسی داده را توضیح می دهد. او موضوعات کلیدی مانند جدال داده ها، طرح واره پایگاه داده و توسعه خطوط لوله ETL را پوشش می دهد. او همچنین چندین ابزار مهندسی داده مانند Hive، Hadoop، Spark و Airflow را شرح می دهد. در پایان این دوره، باید کاملاً مشخص شود که چرا مهندس داده یکی از ارزشمندترین افراد در یک سازمان داده محور است.