پردازش داده های بدون سرور با Dataflow: توسعه خطوط لوله

در این قسمت دوم از سری دوره های Dataflow، ما قصد داریم در توسعه خطوط لوله با استفاده از Beam SDK بیشتر غواصی کنیم. ما با بررسی مفاهیم پرتو آپاچی شروع می کنیم. در مرحله بعد، ما در مورد پردازش داده های جریان با استفاده از پنجره ها، واترمارک ها و تریگرها بحث می کنیم. سپس گزینه‌هایی را برای منابع و سینک‌ها در خطوط لوله، طرح‌واره‌ها برای بیان داده‌های ساختاریافته و نحوه انجام تبدیل‌های حالت با استفاده از APIهای State و Timer پوشش می‌دهیم. ما به بررسی بهترین شیوه‌هایی می‌رویم که به حداکثر رساندن عملکرد خط لوله شما کمک می‌کنند. در پایان دوره، ما SQL و Dataframes را معرفی می کنیم تا منطق کسب و کار شما را در Beam و نحوه توسعه مکرر خطوط لوله با استفاده از نوت بوک های Beam را نشان دهیم.