این دوره برای مبتدیان و کسانی که تجربه برنامه نویسی در پایتون یا Rust دارند و می خواهند اتوماسیون و ابزارهای کمکی را در خط فرمان پیاده سازی کنند طراحی شده است. اگرچه هیچ دانش قبلی از پایتون یا Rust لازم نیست، دانش برنامه نویسی اولیه و همچنین آشنایی با رابط خط فرمان (CLI) توصیه می شود. در طول دوره، پایه محکمی برای ساخت ابزارهای خط فرمان کارآمد، قابل اعتماد و با کارایی بالا به دست خواهید آورد که می تواند به شما در خودکارسازی وظایف مهندسی داده، مهندسی سیستم ها و DevOps کمک کند. با تکمیل این دوره، مهارت های توسعه و توزیع ابزارهای خط فرمان پیچیده و کارآمد را خواهید داشت.

در این اولین دوره از Python، Bash و SQL Essentials for Data Engineering Specialization، شما یاد خواهید گرفت که چگونه یک محیط کاری پایتون کنترل شده با نسخه راه اندازی کنید که می تواند از کتابخانه های شخص ثالث استفاده کند. شما یاد خواهید گرفت که از پایتون و کتابخانه قدرتمند پانداها برای تجزیه و تحلیل و دستکاری داده ها استفاده کنید. علاوه بر این، با Vim و Visual Studio Code که دو ابزار محبوب برای نوشتن نرم افزار هستند نیز آشنا خواهید شد. این دوره برای دانش‌آموزان مبتدی و متوسط ​​برای شروع تبدیل و دستکاری داده‌ها به عنوان یک مهندس داده ارزشمند است.

استفاده بیش از حد از داده‌های بازار و حسابداری در چند دهه اخیر منجر به ازدحام پرتفوی، عملکرد متوسط ​​و ریسک‌های سیستمی شده است، و مؤسسات مالی را تشویق می‌کند که به دنبال لبه‌ای برای پذیرش سریع داده‌های جایگزین به عنوان جایگزینی برای داده‌های سنتی هستند. این دوره مفاهیم اصلی پیرامون داده های جایگزین، جدیدترین تحقیقات در این زمینه، و همچنین نمونه های نمونه کارها و کاربردهای واقعی را معرفی می کند. رویکرد این دوره تا حدودی منحصر به فرد است زیرا در حالی که تئوری تحت پوشش هنوز جزء اصلی است، جلسات آزمایشگاهی عملی و نمونه هایی از کار با مجموعه داده های جایگزین نیز کلیدی هستند. این دوره برای شما مناسب است اگر به عنوان یک دانشمند داده در بازارهای مالی به دنبال شغلی هستید، به دنبال تقویت مهارت های تحلیلی خود در بازارهای مالی هستید، یا اگر علاقه مند به فناوری و تحقیقات پیشرفته هستید همانطور که آنها برای داده های بزرگ اعمال می شوند. . پیشینه مورد نیاز عبارتند از: برنامه نویسی پایتون، نظریه سرمایه گذاری و آمار. این دوره شما را قادر می سازد تا در عین تقویت علم داده و مهارت های پایتون، داده ها و تکنیک های تحقیقاتی جدیدی را که در بازارهای مالی اعمال می شود، بیاموزید.

این دوره دانش‌آموز را از طریق آزمایشگاه‌های مختلف بررسی می‌کند که تعامل بین مدل‌های دامنه شی جاوا و جداول پایگاه داده رابطه‌ای را بررسی می‌کند، این در حال تبدیل شدن به رویکرد استاندارد برای دسترسی به پایگاه داده در برنامه‌های جاوا است. این دوره نشان می‌دهد که چگونه با استفاده از حاشیه‌نویسی‌های متا داده، می‌توانید اشیاء دامنه را به جداول پایگاه داده و ویژگی‌های کلاس را به ستون‌های آن جداول برای عملیات CRUD نگاشت کنید. دانش‌آموز از استراتژی‌های Query متعدد برای بازیابی داده‌ها از پایگاه داده و مصرف داده‌ها در برنامه‌های خود با حداقل تلاش استفاده می‌کند. این دوره در مورد این صحبت خواهد کرد که چگونه این حاشیه‌نویسی‌های متا داده می‌توانند روابط ترکیبی و وراثتی بین کلاس‌ها و طرح‌واره‌های پایگاه داده را ترسیم کنند.

اگر سازمان‌ها می‌خواهند در صحنه جهانی رقابت کنند، دیگر قابل قبول نیست که به طور کامل بر موفقیت مالی تمرکز کنند. همانطور که رسوایی‌های شرکتی همچنان به سرفصل‌ها تبدیل می‌شوند، شما تفکر استراتژیک خود را فراتر از محیط مالی رقابتی سازمان خود گسترش خواهید داد تا تأثیر گسترده‌تر آن بر جامعه را در نظر بگیرید. هنگامی که مهارت‌های ایجاد تعادل پایدار را توسعه می‌دهید، با نتایج متناقض به حداکثر رساندن بازده مالی و تأثیر اجتماعی دست و پنجه نرم خواهید کرد. از طریق فعالیت‌های یادگیری ساختاریافته (سخنرانی‌های ویدئویی، آزمون‌ها، درخواست‌های بحث و ارزیابی‌های کتبی) شما درک خواهید کرد که پایداری چقدر برای هر سازمانی در آینده مهم خواهد بود – و چگونه به آن دست یابید.

در این دوره با ایده های رابطه آب-انرژی-غذا و تفکر فرا رشته ای آشنا می شوید. شما یاد خواهید گرفت که جامعه یا کشور خود را به عنوان یک سیستم اجتماعی-اکولوژیکی پیچیده ببینید و متابولیسم آب، انرژی و غذای آن را در قالب یک الگو توصیف کنید و همچنین دسته بندی بازیگران اجتماعی را ترسیم کنید. ما ابزارهایی را برای اندازه‌گیری عناصر پیوند و تجزیه و تحلیل آنها به روشی منسجم در مقیاس‌ها و ابعاد تحلیل در اختیار شما قرار می‌دهیم. به این ترتیب، تجزیه و تحلیل کمی شما برای تصمیم گیری آگاهانه مفید خواهد بود. شما قادر خواهید بود وابستگی به منابع تجدیدناپذیر و بیرونی کردن مشکلات زیست محیطی به جوامع و اکوسیستم های دیگر را تشخیص داده و کمی کنید (یک «راه حل» محبوب در دنیای غرب). مطالعات موردی عملی، چه از کشورهای توسعه یافته و چه در کشورهای در حال توسعه، به شما کمک می کند تا وضعیت یک جامعه یا کشور معین را ارزیابی کنید و راه حل های ممکن را ارزیابی کنید. آخرین اما نه کم اهمیت، شما یاد خواهید گرفت که مسائل مهم اجتماعی-اکولوژیکی، مانند فقر انرژی، کمبود آب و نابرابری را از منظری کاملا متفاوت ببینید و هر آنچه را که تاکنون به شما گفته شده زیر سوال ببرید. قدردانی بخشی از نتایج و مطالعات موردی ارائه شده در دو پروژه MAGIC و PARTICIPIA توسعه یافته است. با این حال، این دوره نظرات مؤسسات تأمین مالی یا شرکای پروژه را به طور کلی منعکس نمی کند و مطالعات موردی صرفاً با هدف آموزشی و توضیحی ارائه شده است.

دستیابی به توسعه متوازن اقتصادی، اجتماعی و زیست محیطی - همانطور که در دستور کار 2030 سازمان ملل برای توسعه پایدار بیان شده است - به عنوان یکی از چالش های اصلی بشریت امروز شناخته شده است. چیزی که کمتر مشخص است این است که آیا و چگونه سازمان ها می توانند فرصت های تجاری و ارزش برای ذینفعان خود در حین مقابله با چنین چالش هایی ایجاد کنند. در این دوره، رهبران فکری در طیف گسترده ای از زمینه های مدیریت و اقتصاد نحوه ارزیابی و استفاده از فرصت های ارائه شده توسط این شرایط اضطراری جهانی را نشان می دهند. آنها راه‌های جدیدی را برای درک هدف و منطق موفقیت شرکت تجاری در این زمینه جدید ارائه می‌کنند، و ایده‌ها و مثال‌هایی در مورد نحوه مدیریت فرآیند انتقال برای تحقق بخشیدن به پتانسیل خلق ارزش از پایداری شرکت برای همه ذینفعان درگیر ارائه می‌دهند. اهداف آموزشی این دوره به شما این امکان را می دهد که: - درک کنید که پیامدهای اقتصاد کلان و خرد ناشی از تغییرات اقلیمی، فقر، گرسنگی، تبعیض های جنسیتی یا نژادی، عدم ارتباط بین دولت، جوامع مدنی، و مشاغل و غیره چیست. - درک اینکه چرا برای کسب و کارها مهم است که با مسائل پایداری مقابله کنند تا فرصت های تجاری بیشتر و بهتری ایجاد کنند. - بیاموزید که چگونه هر فرد، سازمان و سیستم می تواند شروع به تجزیه و تحلیل رفتارهای خود کند و به سمت شیوه ها و مدل های پایدارتر تغییر کند.

ما با بحث های زیادی در مورد پایداری احاطه شده ایم که گاهی اوقات ممکن است طاقت فرسا شود. سؤالات مهم عبارتند از: کسب و کار چه نقشی در تضمین پایداری کره زمین می تواند داشته باشد؟ تجارت چگونه باید برای حفظ محیط زیست با جامعه همکاری کند؟ به این سؤالات در این دوره پاسخ داده خواهد شد، زیرا ما معنای پایداری و تأثیر آن بر سازمان‌های مدرن را بررسی می‌کنیم، زیرا آنها به سمت ایده‌های دایره‌ای برای کاهش ضایعات، افزایش بازیافت و مناسب شدن برای جامعه مدرن ما حرکت می‌کنند. در این دوره شما نه تنها در مورد نقش کسب و کار در پایداری، بلکه با مشارکت شخصی خود نیز آشنا خواهید شد. علاوه بر مسائل زیست محیطی، در مورد اینکه چگونه کارکنان شرکت ها را تحت فشار قرار می دهند تا خود را به عنوان بخشی مثبت از جامعه بزرگتر ببینند، نیز فکر خواهیم کرد. موضوعات خاصی که ما پوشش خواهیم داد عبارتند از: توافقنامه آب و هوای پاریس، ردپای کربن، اقتصاد دایره ای، لجستیک معکوس، استراتژی های بازیافت، حق تعمیر، مسئولیت اجتماعی شرکت، پایین هرم و اقتصادهای در حال توسعه، و مدل های تجاری تجارت منصفانه. در پایان دوره، درک شما از پایداری و رابطه تجارت با جامعه به میزان قابل توجهی افزایش خواهد یافت. شما مهارت های جدیدی در تحقیق و تجزیه و تحلیل خواهید داشت و ایده های جدید زیادی خواهید داشت که می توانید با خود ببرید و در سازمان و زندگی کاری خود به کار ببرید.

دوره آموزشی "Foundation to Multi-Cloud" برای ارائه درک جامعی از اصول، مزایا و چالش های محاسبات چند ابری طراحی شده است. شما را با دانش و مهارت های مورد نیاز برای مدیریت موثر و استفاده همزمان از چندین پلت فرم ابری مجهز می کند. این دوره مفهوم چند ابری را معرفی می‌کند، مزایا و پیچیدگی‌های آن را توضیح می‌دهد و به استراتژی‌ها و فناوری‌های مختلف برای پیاده‌سازی و مدیریت محیط‌های چند ابری می‌پردازد. ماژول 1 - Multi-Cloud چیست: ماژول 1 اصول محاسبات ابری از جمله محاسبات، ذخیره سازی، پایگاه داده، شبکه و امنیت را پوشش می دهد. همچنین تمایز بین ابرهای چند ابری و ترکیبی، معماری چند ابری و ارائه دهندگان خدمات ابری مختلف را بررسی می کند. شما در مورد مبانی محاسبات ابری اطلاعاتی کسب خواهید کرد، بین تنظیمات ترکیبی و چند ابری تمایز قائل خواهید شد، معماری چند ابری را درک خواهید کرد و با فروشندگان مختلف ابر آشنا خواهید شد. ماژول 2 - Kubernetes و Containers: ماژول 2 بر روی کانتینرسازی، ارکستراسیون کانتینر، شبکه سازی کانتینر، اصول Kubernetes، مدل سازی تهدید، و فعالیت های عملی با استفاده از سرویس Azure Kubernetes (AKS) تمرکز دارد. شما دانش مفاهیم Kubernetes و ارکستراسیون کانتینر، شبکه سازی برای کانتینرها و تجربه عملی با AKS را کسب خواهید کرد. ماژول 3 - Terraform و Cloud Network: ماژول 3 Terraform، موارد استفاده، مزایا و تمرینات عملی آن را معرفی می کند. شما یاد خواهید گرفت که چگونه از Terraform با AWS برای مدیریت VPC استفاده کنید، تنظیمات Terraform، منابع و ارائه دهندگان را درک کنید و Terraform را برای ادغام AWS پیکربندی کنید. یادگیرنده هدف: این دوره برای مخاطبان متنوعی از جمله متخصصان فناوری اطلاعات، معماران ابر، مهندسان DevOps، مدیران تجاری و فناوری اطلاعات، دانشجویان و هر کسی که علاقه مند به تسلط بر محیط های چند ابری است در نظر گرفته شده است. پیش نیازهای زبان آموز: برای موفقیت در این دوره، باید درک اساسی از مبانی محاسبات ابری داشته باشید. تجربه عملی قبلی با ارائه دهندگان ابری بزرگ مانند AWS، Azure، Google Cloud یا دیگران سودمند است اما اجباری نیست. مدت دوره: این دوره کوتاه باید فقط پنج ساعت طول بکشد. این دوره برای ارائه یک پایه جامع در محاسبات چند ابری طراحی شده است. آنچه خواهید آموخت: در پایان این دوره به اهداف آموزشی زیر دست خواهید یافت: 1) اصول اساسی و مزایای محاسبات چند ابری، از جمله افزایش انعطاف پذیری، مقیاس پذیری و انعطاف پذیری را درک کنید. ۲) دانش اجزای کلیدی و مدل‌های خدمات در معماری‌های چند ابری را به دست آورید، که شما را قادر می‌سازد راه‌حل‌های مقیاس‌پذیر و قابل همکاری طراحی کنید. 3) استراتژی‌های استقرار مانند انفجار ابر و توزیع بار کاری را برای بهینه‌سازی عملکرد برنامه و برآورده کردن الزامات خاص بررسی کنید.

در این دوره با اصول واقعیت افزوده (AR) آشنا خواهید شد. شما بر روی جایی که AR در طیف XR قرار می‌گیرد، نحوه استفاده از AR، آنچه که AR امروز و در آینده می‌تواند انجام دهد و فناوری‌های مختلفی که برای ایجاد چنین تجربیاتی استفاده می‌شوند، تمرکز خواهید کرد. همچنین در مورد بینایی کامپیوتر در AR، چرخه عمر توسعه نرم افزار و مشاغل در توسعه AR یاد خواهید گرفت. در پایان دوره، شما قادر خواهید بود: - توضیح دهید که چگونه AR در طیف XR قرار می گیرد. - بین AR در رسانه های اجتماعی (Meta Spark)، AR در مرورگر (Web AR) و AR در برنامه تلفن همراه (Unity AR) تمایز قائل شوید. - ویژگی ها، امکانات و قابلیت های تعیین کننده AR را شرح دهید. - نحوه ارتباط بینایی کامپیوتر با توسعه AR را توضیح دهید. - مروری بر چرخه عمر توسعه و تولید نرم افزار AR ارائه دهید. - نحوه استفاده از AR در صنایع بازاریابی، آموزش، بازی و سرگرمی را شرح دهید. برای موفقیت در این دوره، تجربه برنامه نویسی شی گرا و توسعه اولیه وب مورد نیاز است. جاوا اسکریپت یک امتیاز مثبت است اما لازم نیست.

قبل از ظهور مکانیک کوانتومی در اوایل قرن بیستم، اکثر دانشمندان بر این باور بودند که می‌توان رفتار هر جسمی را در جهان به سادگی با درک رفتار اجزای سازنده آن پیش‌بینی کرد. برای مثال، اگر بتوان معادلات حرکت را برای هر اتم در یک سیستم نوشت، می‌توان آن معادلات را حل کرد (با کمک یک دستگاه محاسباتی به اندازه کافی بزرگ) و پیش‌بینی‌های دقیقی درباره آینده آن سیستم انجام داد. با این حال، برخی از سیستم ها وجود دارند که این مفهوم را به چالش می کشند. یک سلول زنده را در نظر بگیرید که بیشتر از کربن، هیدروژن و اکسیژن به همراه سایر عناصر کمیاب تشکیل شده است. ما می‌توانیم این مؤلفه‌ها را به‌صورت جداگانه مطالعه کنیم، بدون اینکه تصور کنیم که چگونه ترکیب آنها به روش درست می‌تواند به چیزی به پیچیدگی و شگفت‌انگیز بودن یک موجود زنده منجر شود! بنابراین، ما می‌توانیم زندگی را ویژگی نوظهور چیزی بدانیم که اساساً انباشته‌ای از اجزای تشکیل‌دهنده است که به نحوی به روشی بسیار دقیق سازماندهی شده‌اند. این دوره به شما امکان می دهد مفهوم ظهور را با استفاده از مثال هایی از علم مواد، ریاضیات، زیست شناسی، فیزیک و علوم اعصاب کشف کنید تا نشان دهید چگونه اجزای معمولی وقتی کنار هم قرار می گیرند می توانند به طور جمعی رفتارهای غیرمنتظره و غافلگیرکننده ای ایجاد کنند. توجه: تصویر فراکتال (مثلث Sierpinkski) نشان داده شده در صفحه اصلی دوره توسط یک برنامه نرم افزاری به نام XaoS 3.4 تولید شده است که توسط بنیاد نرم افزار آزاد تحت مجوز عمومی عمومی گنو توزیع شده است. پس از اتمام این دوره، شما قادر خواهید بود: 1. تفاوت در مفروضات بین رویکرد نوظهور در مقابل تقلیل به علم را توضیح دهید. 2. توضیح دهید که چرا بسیاری از رویکرد تقلیل گرا به عنوان ابزاری برای توصیف و پیش بینی سیستم های پیچیده ناکافی است. 3. توضیح دهید که چگونه مقیاس طول مورد استفاده برای بررسی یک پدیده می تواند به نحوه تجزیه و تحلیل و درک آن کمک کند. 4. توضیح دهید که چرا جست‌وجوی اصول کلی که پدیده‌های نوظهور را توضیح می‌دهند، آنها را به محلی فعال برای تحقیقات علمی تبدیل می‌کند. 5. مثال هایی از پدیده های نوظهور را مورد بحث قرار دهید و توضیح دهید که چرا آنها را به عنوان پدیده های نوظهور طبقه بندی می کنند.

دوره AWS: Data Processing Course دومین دوره تخصصی تخصصی تجزیه و تحلیل داده تایید شده AWS است. این دوره بر ارائه راه حل های پردازش داده تمرکز دارد. کل دوره برای آموزش مفهوم EMR و Extract، Transform و Load به فراگیران طراحی شده است. این دوره همچنین بر خدمات ETL و راه حل های پردازش داده در AWS تأکید دارد. این دوره به سه ماژول تقسیم می شود و هر ماژول بیشتر توسط درس ها و سخنرانی های ویدیویی تقسیم می شود. این دوره آموزشی با سخنرانی‌های ویدیویی در حدود 3:30-4:00 ساعت که هم تئوری و هم دانش عملی را ارائه می‌کند، به زبان‌آموزان تسهیل می‌کند. همچنین آزمون های درجه بندی شده و بدون درجه بندی به منظور سنجش توانایی فراگیران به همراه هر ماژول ارائه می شود. ماژول 1: مقدمه: استخراج، تبدیل و بارگذاری مشاغل ماژول 2: مقدمه: EMR ماژول 3: خدمات ETL و راه حل پردازش داده در AWS توصیه می شود که افراد باید تجربه کار با خدمات AWS برای طراحی، ساخت، ایمن سازی و نگهداری را داشته باشند. راه حل های تحلیلی برای درک این دوره در پایان این دوره، فراگیران قادر خواهند بود: -مفاهیم مدلسازی را تجزیه و تحلیل کنند و مدل های یادگیری ماشینی را آموزش دهند - عملکرد مدل های یادگیری ماشینی را بررسی کنند - با آموزش یک مدل، تنظیم خودکار مدل را پیاده سازی کنند.

این دوره آموزشی Azure برای تجهیز دانش آموزان به دانش لازم برای پردازش، ذخیره و تجزیه و تحلیل داده ها برای تصمیم گیری آگاهانه تجاری طراحی شده است. از طریق این دوره Azure، دانش‌آموز متوجه خواهد شد که داده‌های بزرگ به همراه اهمیت تجزیه و تحلیل داده‌های بزرگ، که مهارت‌های ریاضی و برنامه‌نویسی دانش‌آموزان را بهبود می‌بخشد. دانش آموزان موثرترین روش استفاده از ابزارهای تحلیلی ضروری مانند پایتون، R و آپاچی اسپارک را خواهند آموخت.

در این دوره، مهارت‌های آموخته‌شده در تجزیه و تحلیل داده‌های اکتشافی با متلب را ایجاد می‌کنید تا پایه‌های مورد نیاز برای مدل‌سازی پیش‌بینی‌کننده را ایجاد کنید. این دوره سطح متوسط ​​برای هر کسی که نیاز به ترکیب داده ها از چندین منبع یا زمان دارد و علاقه مند به مدل سازی است مفید است. این مهارت ها برای کسانی که دانش حوزه و مقداری در معرض ابزارهای محاسباتی هستند، اما هیچ پیشینه برنامه نویسی ندارند، ارزشمند است. برای موفقیت در این دوره، باید پیشینه ای در زمینه آمار پایه (هیستوگرام، میانگین، انحراف معیار، برازش منحنی، درونیابی) داشته باشید و تجزیه و تحلیل داده های اکتشافی را با متلب تکمیل کرده باشید. در طول دوره، شما داده ها را از مجموعه داده های مختلف ادغام خواهید کرد و سناریوهای رایج مانند داده های از دست رفته را مدیریت خواهید کرد. در آخرین ماژول دوره، تکنیک های ویژه ای را برای مدیریت داده های متنی، صوتی و تصویری که در علم داده و مدل سازی پیشرفته تر رایج است، بررسی خواهید کرد. در پایان این دوره، شما یاد خواهید گرفت که چگونه داده های خود را تجسم کنید، آنها را تمیز کنید و برای تجزیه و تحلیل مرتب کنید، و کیفیت های لازم برای پاسخ به سوالات خود را شناسایی کنید. شما می‌توانید توزیع داده‌های خود را تجسم کنید و از بازرسی بصری برای رسیدگی به مصنوعاتی که بر مدل‌سازی دقیق تأثیر می‌گذارند، استفاده کنید.

このコースは、Dataflowト 1 です。この最初のコースでは、始めに Apache Beamるかを復習し ます。次に、Apache Beam のビジョンと Beam Portability .ムワークによって、デベロッパーが好みのプログラミ.きるビジョンが実現します. によってどのように費用を節約しながら. 、そして識別ツール.能するかを紹介します。最後に、جریان داده それぞれのユースケースに合った適切なセキュリティ. ..

جریان داده コースシリーズの 2 回目である今回は、Beam SDK پرتو آپاچی،したストリーミング データの処理について説明します。さらに、パイプラインのソースとシンクのオプション、構造化データを表現するためのスキーマ、 API State AP TIMER API を使用してステートフル変換を行う方法について説明します。続いて 。 。コースの終盤では、Beam でビジネス ロジッックを使用してパイプラインを反復的 に開発する方法を説明します.

در این قسمت دوم از سری دوره های Dataflow، ما قصد داریم در توسعه خطوط لوله با استفاده از Beam SDK بیشتر غواصی کنیم. ما با بررسی مفاهیم پرتو آپاچی شروع می کنیم. در مرحله بعد، ما در مورد پردازش داده های جریان با استفاده از پنجره ها، واترمارک ها و تریگرها بحث می کنیم. سپس گزینه‌هایی را برای منابع و سینک‌ها در خطوط لوله، طرح‌واره‌ها برای بیان داده‌های ساختاریافته و نحوه انجام تبدیل‌های حالت با استفاده از APIهای State و Timer پوشش می‌دهیم. ما به بررسی بهترین شیوه‌هایی می‌رویم که به حداکثر رساندن عملکرد خط لوله شما کمک می‌کنند. در پایان دوره، ما SQL و Dataframes را معرفی می کنیم تا منطق کسب و کار شما را در Beam و نحوه توسعه مکرر خطوط لوله با استفاده از نوت بوک های Beam را نشان دهیم.

در آخرین قسمت از سری دوره های Dataflow به معرفی اجزای مدل عملیاتی Dataflow می پردازیم. ما ابزارها و تکنیک های عیب یابی و بهینه سازی عملکرد خط لوله را بررسی خواهیم کرد. سپس بهترین روش‌های آزمایش، استقرار و قابلیت اطمینان را برای خطوط لوله Dataflow بررسی می‌کنیم. ما با بررسی الگوها نتیجه گیری خواهیم کرد، که مقیاس خطوط لوله جریان داده را برای سازمان هایی با صدها کاربر آسان می کند. این درس ها به شما کمک می کند تا مطمئن شوید که پلت فرم داده شما در برابر شرایط پیش بینی نشده پایدار و مقاوم است.

این دوره قسمت 1 از مجموعه 3 دوره ای در مورد پردازش داده های بدون سرور با جریان داده است. در این دوره اول، ما با تجدید نظر در مورد پرتو آپاچی و ارتباط آن با Dataflow شروع می کنیم. در مرحله بعد، در مورد چشم انداز پرتو آپاچی و مزایای فریم ورک Beam Portability صحبت می کنیم. چارچوب Beam Portability به این چشم‌انداز دست می‌یابد که یک توسعه‌دهنده می‌تواند از زبان برنامه‌نویسی مورد علاقه خود با اجرای مطلوب خود استفاده کند. سپس به شما نشان می‌دهیم که چگونه Dataflow به شما اجازه می‌دهد تا محاسبات و ذخیره‌سازی را در حین صرفه‌جویی در هزینه جدا کنید، و چگونه هویت، دسترسی، و ابزارهای مدیریتی با خطوط لوله Dataflow شما تعامل دارند. در نهایت، ما به نحوه پیاده‌سازی مدل امنیتی مناسب برای استفاده شما در Dataflow نگاه می‌کنیم. پیش نیازها: سری دوره های پردازش داده های بدون سرور با جریان داده مبتنی بر مفاهیمی است که در تخصص مهندسی داده ها پوشش داده شده است. ما دوره های پیش نیاز زیر را توصیه می کنیم: (i) ساخت خطوط لوله داده دسته ای در Google Cloud: اصول اصلی جریان داده را پوشش می دهد (ii) ساختن سیستم‌های تجزیه و تحلیل جریان انعطاف‌پذیر در Google Cloud: مفاهیم اولیه استریم مانند پنجره‌سازی، محرک‌ها و واترمارک‌ها را پوشش می‌دهد. >>> با ثبت نام در این دوره، با شرایط خدمات Qwiklabs که در پرسش های متداول و در آدرس زیر آمده است موافقت می کنید: https://qwiklabs.com/terms_of_service <<<

در دوره 1 تخصص پردازش زبان طبیعی، شما: الف) تجزیه و تحلیل احساسات توییت ها را با استفاده از رگرسیون لجستیک و سپس بیز ساده انجام دهید. ب) از مدل های فضای برداری برای کشف روابط بین کلمات استفاده کنید و از PCA برای کاهش ابعاد فضای برداری و تجسم آن روابط استفاده کنید. ج) یک الگوریتم ترجمه انگلیسی به فرانسوی ساده با استفاده از جاسازی‌های کلمه از پیش محاسبه‌شده و هش‌سازی حساس به موقعیت برای ارتباط کلمات از طریق جستجوی تقریبی k-نزدیک‌ترین همسایه بنویسید. در پایان این تخصص، شما برنامه های NLP را طراحی کرده اید که پاسخگویی به سوالات و تجزیه و تحلیل احساسات را انجام می دهند، ابزارهایی برای ترجمه زبان ها و خلاصه کردن متن ایجاد می کنید و حتی یک ربات چت می سازید! این تخصص توسط دو متخصص در NLP، یادگیری ماشینی و یادگیری عمیق طراحی و آموزش داده شده است. یونس بنسودا موری، مدرس هوش مصنوعی در دانشگاه استنفورد است که همچنین به ایجاد تخصص یادگیری عمیق کمک کرده است. Łukasz Kaiser یک دانشمند تحقیقاتی در Google Brain و یکی از نویسندگان Tensorflow، کتابخانه‌های Tensor2Tensor و Trax و مقاله Transformer است.