مهندسی داده پایه ای برای فعال کردن برنامه های کاربردی تجزیه و تحلیل و علم داده در دنیای داده های بزرگ است. این نیاز به ایجاد خطوط لوله پردازش داده مقیاس پذیر و تحویل آنها در بازه های زمانی کوتاه دارد. Apache Flink، پلتفرم قدرتمند و محبوب پردازش جریان، برای کمک به شما در دستیابی به این اهداف طراحی شده است. در این دوره، به Kumaran Ponnambalam بپیوندید زیرا او بر نحوه ساخت خطوط لوله داده حالت دسته ای با Apache Flink تمرکز می کند. کوماران این دوره را با بررسی ویژگی ها و معماری آپاچی فلینک آغاز می کند. سپس نگاهی عمیق‌تر به DataSet API می‌اندازد و قابلیت‌های مختلف موجود برای تبدیل، تجمیع و ترکیب داده‌ها را بررسی می‌کند. برای پایان دادن به دوره، او یک پروژه مورد استفاده ارائه می دهد که به شما امکان می دهد از مهارت های جدید خود استفاده کنید.

تجزیه و تحلیل داده های اکتشافی یک مرحله کلیدی در علم داده است که به بررسی داده ها برای استخراج بینش می پردازد. در دنیای کلان داده، کاوش مجموعه داده‌های عظیم یک چالش است، زیرا به فناوری‌هایی نیاز دارد که مقیاس‌پذیر، سریع و دارای ویژگی‌های غنی باشند. Apache Flink - پلتفرم محبوب پردازش جریان - برای این تلاش مناسب است. این دوره بر کاوش مجموعه داده ها با SQL در Apache Flink تمرکز دارد. مربی Kumaran Ponnambalam با بررسی API های رابطه ای که Flink برای تجزیه و تحلیل داده های بزرگ ارائه می دهد شروع می کند. سپس کوماران نگاهی عمیق‌تر به توابع Table API و SQL می‌اندازد. او قابلیت‌های مختلف SQL موجود برای کاوش داده‌ها، از جمله فیلتر کردن، تجمیع‌ها و پیوستن‌ها را بررسی می‌کند. برای جمع بندی، او یک پروژه مورد استفاده ارائه می دهد که به شما امکان می دهد مهارت های جدید خود را تمرین کنید.

از دیدگاه مهندسی، مقیاس پذیری یکی از مهم ترین چالش ها در علم داده است. Apache Flink، پلتفرم قدرتمند و محبوب پردازش جریان، ویژگی ها و عملکردهایی را ارائه می دهد که می تواند به توسعه دهندگان کمک کند تا با این چالش مقابله کنند. در این دوره آموزشی، یاد بگیرید که چگونه یک خط لوله پردازش جریان در زمان واقعی با Apache Flink بسازید. مربی Kumaran Ponnambalam با مرور مفاهیم کلیدی جریان و ویژگی های Apache Flink شروع می کند. سپس نگاهی عمیق‌تر به DataStream API می‌اندازد و قابلیت‌های مختلف موجود برای پردازش جریانی بلادرنگ، از جمله پنجره‌سازی و پیوستن را بررسی می‌کند. پس از بررسی ویژگی‌های پردازش زمان رویداد و مدیریت حالت پلتفرم، او یک پروژه مورد استفاده ارائه می‌دهد که به شما امکان می‌دهد مهارت‌های جدید خود را آزمایش کنید.

چارچوب‌هایی مانند Apache Flink می‌توانند به شما کمک کنند تا برنامه‌های پردازش جریانی سریع و مقیاس‌پذیر بسازید، اما مهندسان داده‌های بزرگ هنوز برای دستیابی به حداکثر کارایی باید موارد استفاده هوشمند را طراحی کنند. در این دوره، مربی Kumaran Ponnambalam نحوه استفاده از Apache Flink و فن‌آوری‌های مرتبط را برای ساخت موارد استفاده پردازش جریان با استفاده از الگوهای رایج نشان می‌دهد. کوماران با برجسته کردن فرصت‌ها و چالش‌هایی که پردازش جریانی برای کلان داده‌ها به ارمغان می‌آورد، شروع می‌کند. او سپس به چهار الگوی محبوب برای پردازش جریان می‌پردازد: تجزیه و تحلیل جریان، هشدارها و آستانه‌ها، تابلوهای امتیازات، و پیش‌بینی‌های زمان واقعی. در طول مسیر، او موارد استفاده از نمونه را بررسی می‌کند و نحوه استفاده از Flink و همچنین فناوری‌های کلیدی مانند MariaDB و Redis را برای پیاده‌سازی نمونه‌های کلیدی توضیح می‌دهد.