مبانی مهندسی داده

 علم داده را می توان به طور کلی به عنوان فرآیند مفید ساختن داده ها تعریف کرد و مهندسی داده بخش مهمی از چگونگی و چرایی آن است. اگر به علم داده مانند یک ماشین مسابقه فکر می کنید، مهندسان داده خدمه پیت هستند. آنها ماشین را نمی‌رانند، اما رانندگی ماشین را بسیار آسان‌تر می‌کنند. مهندسان داده اطمینان حاصل می کنند که جریان داده ها به خوبی اجرا می شود، سیستم ها را نظارت می کنند، مشکلات را پیش بینی می کنند و در صورت بروز مشکل خط لوله داده را تعمیر می کنند. آنها داده ها را از چندین منبع استخراج و جمع آوری می کنند و آن را در یک پایگاه داده واحد و آسان برای پرس و جو بارگذاری می کنند. به طور خلاصه، مهندسان داده زندگی دانشمندان داده را آسان تر می کنند.

در این دوره، هارشیت تیاگی اصول مهندسی داده را توضیح می دهد. او موضوعات کلیدی مانند جدال داده ها، طرح واره پایگاه داده و توسعه خطوط لوله ETL را پوشش می دهد. او همچنین چندین ابزار مهندسی داده مانند Hive، Hadoop، Spark و Airflow را شرح می دهد. در پایان این دوره، باید کاملاً مشخص شود که چرا مهندس داده یکی از ارزشمندترین افراد در یک سازمان داده محور است.