معمولاً گفته می شود که دانشمندان داده 80٪ از زمان خود را صرف تمیز کردن و دستکاری داده ها می کنند و فقط 20٪ از زمان خود را صرف تجزیه و تحلیل آنها می کنند. زمان صرف شده برای تمیز کردن حیاتی است زیرا تجزیه و تحلیل داده های کثیف می تواند شما را به نتیجه گیری نادرست هدایت کند.

پاکسازی داده ها یک کار ضروری در علم داده است. بدون داده‌های تمیز شده مناسب، نتایج هر مدل تحلیل داده یا یادگیری ماشینی ممکن است نادرست باشد. در این دوره آموزشی، نحوه شناسایی، تشخیص و درمان انواع مشکلات پاکسازی داده ها در پایتون، از ساده تا پیشرفته را یاد خواهید گرفت. شما با انواع داده های نامناسب برخورد خواهید کرد، بررسی کنید که داده های شما در محدوده صحیح قرار دارند، داده های از دست رفته را مدیریت کنید، پیوند رکورد را انجام دهید و موارد دیگر!

اگر تعداد زیادی از دانشمندان داده و تحلیلگران داده را در مورد اینکه کدام وظایف در روز کاری آنها رایج است، بررسی کنید، احتمالاً داده های تمیز کردن تقریباً در همه پاسخ ها وجود دارد. این مورد به این دلیل است که داده های دنیای واقعی کثیف هستند. برای کمک به شما در رام کردن داده های آشفته، این دوره به شما می آموزد که چگونه داده های ذخیره شده در پایگاه داده PostgreSQL را تمیز کنید. شما یاد خواهید گرفت که چگونه مشکلات رایجی مانند نحوه تمیز کردن رشته های نامرتب، مقابله با مقادیر خالی، مقایسه شباهت بین رشته ها و موارد دیگر را حل کنید. با استفاده از مجموعه داده های جالب (اما درهم و برهم) که توسط برنامه Open Data شهر نیویورک در دسترس است، تمرین عملی با این وظایف خواهید داشت. آیا آماده‌اید که داده‌های کثیف را به شکلی درآورید؟

آیا می‌دانستید که دانشمندان داده و تحلیلگران داده، قبل از تجزیه و تحلیل داده‌ها، زمان زیادی را صرف پاکسازی داده‌ها می‌کنند؟ این به این دلیل است که داده های دنیای واقعی کثیف هستند. برای کمک به شما در مسیریابی داده های آشفته، این دوره به شما می آموزد که چگونه داده های ذخیره شده در پایگاه داده SQL Server را تمیز کنید. شما یاد خواهید گرفت که چگونه مشکلات رایجی مانند نحوه تمیز کردن رشته های نامرتب، مقابله با مقادیر خالی، مقایسه شباهت بین رشته ها و موارد دیگر را حل کنید. با استفاده از طیف گسترده ای از مجموعه داده های جالب و آشفته، از جمله پروازهای ماهانه خطوط هوایی بر اساس فرودگاه، سریال های تلویزیونی و فروش کاغذفروشی، تمام این وظایف را به طور عملی انجام خواهید داد. آیا آماده هستید که دستان خود را به هم بریزد؟

تمیز کردن داده ها برای مشکلات تجاری بسیار مهم است. وقتی کیفیت داده‌ها کاهش می‌یابد، تجزیه و تحلیل‌ها غیرقابل اعتماد می‌شوند، مدل‌های یادگیری ماشین پیش‌بینی‌های ضعیفی انجام می‌دهند و تصمیم‌های تجاری اشتباه می‌شوند.

این دوره شما را با ابزارهای جاوا برای مقابله با کیفیت داده ها مجهز می کند. روش‌های آماری برای تشخیص نقاط پرت و مدیریت مقادیر گمشده، تسلط بر تبدیل داده‌ها از استانداردسازی متن تا مدیریت تاریخ‌ها در مناطق زمانی، و پیاده‌سازی بررسی‌های محدوده با استفاده از عبارات منظم و حاشیه‌نویسی‌های اعتبارسنجی را خواهید آموخت.

با کار با Tablesaw، داده‌های جدولی دنیای واقعی را پاک می‌کنید و تبدیل‌هایی را انجام می‌دهید که داده‌ها را برای تجزیه و تحلیل آماده می‌کند. برای اطمینان از کیفیت داده‌ها در هر مرحله از برنامه‌هایتان، آماده خواهید بود.

با تکیه بر دانش پایه Power Query شما در اکسل، این دوره متوسط ​​شما را به سطح بعدی تسلط بر تبدیل داده ها می برد. تکنیک‌های یکپارچه‌سازی داده‌های پیشرفته، از جمله افزودن و ادغام مجموعه‌های داده با انواع مختلف اتصال را کشف کنید. برای ایجاد ستون‌های شرطی سفارشی و استفاده از تبدیل‌های جدول پیشرفته، به نحو زبان M کاوش کنید. ویرایشگر پیشرفته Power Query را باز کنید، عملکردهای داخلی M را بررسی کنید، بر بهترین روش‌ها مانند گروه‌بندی پرس و جو مسلط شوید، و معیارهای فیلتر را به‌صورت پویا با پارامترها تنظیم کنید. با ایجاد توابع زبان فرمول M سفارشی، مهارت‌های خود را ارتقا دهید، و قابلیت‌های طراحی جستجوی پیشرفته را آزاد کنید که به شما قدرت می‌دهد تا بینش‌های عمیق‌تری را از داده‌های خود استخراج کنید.

پایتون و R در "عصر یادگیری ماشینی" رشد چشمگیری در محبوبیت داشته اند. هر دوی آنها زبان های سطح بالایی هستند که یادگیری و نوشتن آنها آسان است. زبانی که استفاده می کنید به سابقه و رشته تحصیلی و کاری شما بستگی دارد. R یک زبان ساخته شده توسط و برای آماردانان است، در حالی که پایتون یک زبان برنامه نویسی عمومی تر است. صرف نظر از پس زمینه، مواقعی وجود خواهد داشت که یک الگوریتم خاص در یک زبان پیاده سازی می شود و نه زبان دیگر، یک ویژگی بهتر مستند می شود، یا به سادگی، آموزشی که به صورت آنلاین پیدا کردید به جای R از Python استفاده می کند.

در هر صورت، این امر مستلزم این است که کاربر R در پایتون کار کند تا کار خود را انجام دهد، یا سعی کند بفهمد که چگونه چیزی در پایتون پیاده‌سازی می‌شود تا به R ترجمه شود. این دوره به شما کمک می‌کند از مانع زبان R-Python عبور کنید.

آیا به دنبال راه حلی بهتر از راه حلی هستید که در صفحه گسترده ساخته اید؟ اگر چنین است، پس پایتون برای کاربران صفحه گسترده مقدمه‌ای عالی برای زبان پایتون است و شما را در مسیر درستی برای خودکارسازی کارهای تکراری، غواصی عمیق‌تر در داده‌های خود و گسترش دامنه آنچه که قادر به انجام آن هستید قرار می‌دهد. در طول دوره، ما به موازات توابع و تکنیک‌های رایج صفحه‌گسترده ترسیم می‌کنیم، بنابراین وقتی ابتدا به پایتون شیرجه می‌زنید، همیشه یک نقطه مرجع آشنا خواهید داشت.

Python یک زبان برنامه نویسی همه کاره است که برای انجام علم داده محبوبیت بیشتری پیدا می کند. شرکت‌ها در سرتاسر جهان از پایتون برای جمع‌آوری اطلاعات از داده‌های خود و کسب مزیت رقابتی استفاده می‌کنند. این دوره بر کمک به کاربران Matlab در یادگیری استفاده از Python به طور خاص برای علم داده تمرکز دارد. شما به سرعت یاد خواهید گرفت که چگونه از Matlab به Python برای تجزیه و تحلیل و تجسم داده ها مهاجرت کنید. اصول سینتکس پایتون، نحوه استفاده از آرایه های numpy برای ذخیره و دستکاری داده ها را بیاموزید. شما یاد خواهید گرفت که چگونه از matplotlib برای کشف روندها، همبستگی ها و الگوها در مجموعه داده های واقعی، از جمله ترافیک دوچرخه در شهر سیاتل و قیمت آووکادو در سراسر ایالات متحده استفاده کنید.

یادگیری پایتون برای هر متخصص مشتاق علم داده بسیار مهم است. یاد بگیرید که داده های واقعی را با توابع Matplotlib تجسم کنید و با ساختارهای داده مانند دیکشنری و پانداها DataFrame آشنا شوید. این دوره چهار ساعته به شما کمک می کند تا مهارت های پایتون موجود خود را تقویت کنید و برنامه ها و توابع جدید پایتون را کشف کنید که کارنامه شما را گسترش می دهد و به شما کمک می کند کارآمدتر کار کنید. متوجه خواهید شد که چگونه دیکشنری ها جایگزینی برای لیست های پایتون ارائه می دهند و چرا چارچوب داده پانداها محبوب ترین روش کار با داده های جدولی است. در فصل دوم این دوره، نحوه ایجاد و دستکاری مجموعه داده ها و نحوه دسترسی به آنها با استفاده از این ساختارها را خواهید یافت. تمرین عملی در طول دوره باعث افزایش اعتماد به نفس شما در هر زمینه می شود. همانطور که پیشرفت می کنید، به منطق، کنترل جریان، فیلتر کردن و حلقه ها نگاه خواهید کرد. این توابع برای کنترل تصمیم‌گیری در برنامه‌های پایتون کار می‌کنند و به شما کمک می‌کنند تا عملیات بیشتری را با داده‌های خود انجام دهید، از جمله عبارت‌های تکراری. شما دوره را با استفاده از تمام مهارت های جدید خود با استفاده از آمار هکرها برای محاسبه شانس برنده شدن در یک شرط به پایان خواهید رساند. پس از تکمیل تمام فصل‌ها، آماده خواهید بود که مهارت‌های جدید خود را در شغل، شغل جدید یا پروژه شخصی خود به کار ببرید و آماده باشید تا به یادگیری پیشرفته‌تر پایتون بروید.

ویدیوها حاوی رونوشت‌های زنده هستند که با کلیک کردن روی "نمایش رونوشت" در پایین سمت چپ ویدیوها قابل دسترسی هستند.

واژه نامه دوره را می توانید در سمت راست در بخش منابع پیدا کنید.

برای کسب اعتبارات CPE باید دوره را تکمیل کنید و در ارزیابی واجد شرایط به نمره 70% برسید. می‌توانید با کلیک بر روی علامت اعتبارات CPE در سمت راست به ارزیابی بروید.

آیا شما یک تحلیلگر مالی یا تجاری هستید یا به دنبال راهی ساده تر برای مدیریت سبد سهام خود هستید؟ اگر چنین است، یادگیری پایتون می‌تواند کارهای مالی مانند محاسبه ریسک، نقشه‌برداری سلامت بازار، و تجسم روند قیمت سهام را خودکار کند و در وقت و هزینه شما صرفه‌جویی کند.

در این دوره آموزشی، نحوه استفاده از ساختارهای داده پایتون، دستورات کنترل اجرا و DataFrames را برای دستکاری داده های مالی یاد خواهید گرفت. سپس با استفاده از داده‌های بانک فدرال رزرو، با پانداها کار می‌کنید تا روندهای اقتصادی ملی را کشف کنید - بخشی ضروری از درک استراتژی‌های سرمایه‌گذاری. شما همچنین ریسک را بر اساس داده های قیمت سهام محاسبه می کنید و این داده ها را به صورت نمودارهای خوانا نمایش می دهید. در پایان این دوره، شما پایتون جدید وال استریت خواهید بود.

استفاده موثر از توابع، ماژول ها و بسته های داخلی پایتون را بیاموزید. توابع سفارشی را با مستندات واضح و آرگومان های انعطاف پذیر ایجاد کنید که مناسب موارد استفاده مختلف است. با خواندن ردیابی‌ها، شناسایی خطاهای رایج و استفاده از بلوک‌های try-except، مدیریت خطا را مسلط کنید. درک زمان استفاده از توابع لامبدا در مقابل تعاریف کامل. در پایان، می‌توانید کدهای قابل استفاده مجدد بنویسید که سایر توسعه‌دهندگان بتوانند با اطمینان آن را درک کنند، گسترش دهند و اشکال‌زدایی کنند.

دریابید که پایگاه داده برداری Pinecone چگونه توسعه برنامه های کاربردی هوش مصنوعی را متحول می کند. Pinecone یک راه حل پایگاه داده برداری با تأخیر پرس و جو کاملاً مدیریت شده است که بازار را درگیر کرده است. در این دوره آموزشی، شما یاد خواهید گرفت که بردارها را از نمایه های Pinecone دریافت، دستکاری و پرس و جو کنید. شما از این مهارت‌ها، همراه با مفاهیم اساسی دیگر مانند بازیابی نسل افزوده (RAG) برای فعال کردن برنامه‌های هوش مصنوعی مانند موتورهای جستجوی معنایی و چت‌بات‌های آگاه از زمینه استفاده خواهید کرد. در نهایت، با مشاهده تکنیک‌های تنظیم عملکرد، بهینه‌سازی فضای ذخیره‌سازی و بهبود تأخیر پرس و جو، بهینه‌سازی پایگاه داده‌های تولید خود را یاد خواهید گرفت.

این دوره مفهوم کنترل نسخه را معرفی می کند و مزایای آن را برای پروژه های نرم افزاری و داده ای برجسته می کند. با Git، نرم افزار محبوب برای اجرای کنترل نسخه در پروژه ها، آشنا خواهید شد و از آن برای ایجاد مخازن و ردیابی فایل ها استفاده خواهید کرد.

دریابید که Git چگونه داده‌ها را از طریق حباب‌ها، درختان و commit‌ها ذخیره می‌کند. از این اطلاعات برای مقایسه وضعیت پروژه خود در مقاطع مختلف زمانی استفاده کنید، بدانید چه تغییراتی، توسط چه کسی و چه زمانی ایجاد شده است. نکات و ترفندهای ارزشمندی را بیاموزید تا نمای خود را از تاریخچه مخزن سفارشی کنید و چگونه تغییرات را برای بازگرداندن فایل‌ها لغو کنید!

تصاویر همه جا هستند! ما در زمانی زندگی می کنیم که تصاویر حاوی اطلاعات زیادی هستند که گاهی اوقات به سختی به دست می آیند. به همین دلیل است که پیش پردازش تصویر به یک مهارت بسیار ارزشمند تبدیل شده است که در بسیاری از موارد کاربرد دارد. در این دوره، شما یاد خواهید گرفت که به میل خود پردازش، تبدیل و دستکاری تصاویر را حتی زمانی که به هزاران عدد می‌رسد، انجام دهید. همچنین یاد خواهید گرفت که تصاویر آسیب دیده را بازیابی کنید، کاهش نویز را انجام دهید، تصاویر را تغییر اندازه هوشمند دهید، تعداد نقاط روی یک تاس را بشمارید، تشخیص چهره را اعمال کنید، و خیلی چیزهای دیگر با استفاده از Sikit-Image. پس از اتمام این دوره، شما قادر خواهید بود دانش خود را در حوزه های مختلف مانند یادگیری ماشینی و هوش مصنوعی، بینایی ماشین و روباتیک، تجزیه و تحلیل تصاویر فضا و پزشکی، خرده فروشی و بسیاری دیگر اعمال کنید. قدم بردارید و به دنیای شگفت انگیزی که بینایی کامپیوتر است شیرجه بزنید!

ما در دنیایی شلوغ با ضرب‌الاجل‌های محدود زندگی می‌کنیم. در نتیجه، ما به آنچه آشنا و آسان است باز می گردیم و از رابط های رابط کاربری گرافیکی مانند Visual Studio و RStudio استفاده می کنیم. با این حال، صرف زمان برای یادگیری تجزیه و تحلیل داده ها در خط فرمان یک سرمایه گذاری طولانی مدت عالی است زیرا باعث می شود افراد داده قوی تر و پربازده تر باشیم.

در این دوره، ما یک رویکرد عملی برای یادگیری مهارت‌های خط فرمان ساده، قدرتمند و مختص داده‌ها خواهیم داشت. با استفاده از مجموعه داده های Spotify در دسترس عموم، نحوه دانلود، پردازش، پاکسازی و تبدیل داده ها را از طریق خط فرمان یاد خواهیم گرفت. ما همچنین تکنیک های پیشرفته ای مانند عملیات پایگاه داده SQL مبتنی بر خط فرمان را یاد خواهیم گرفت. در نهایت، ما قدرت های خط فرمان و پایتون را برای ایجاد یک خط لوله داده برای خودکار کردن یک مدل پیش بینی ترکیب می کنیم.

مجموعه داده ها اغلب بزرگتر از RAM موجود هستند، که برای برنامه نویسان R مشکل ایجاد می کند زیرا به طور پیش فرض همه متغیرها در حافظه ذخیره می شوند. ابزارهایی را برای پردازش، کاوش و تجزیه و تحلیل داده ها به طور مستقیم از دیسک یاد خواهید گرفت. شما همچنین رویکرد split-apply-combine را پیاده سازی خواهید کرد و نحوه نوشتن کدهای مقیاس پذیر با استفاده از بسته های bigmemory و iotools را یاد خواهید گرفت. در این دوره، از داده‌های آژانس مالی مسکن فدرال استفاده خواهید کرد، مجموعه داده‌ای در دسترس عموم که تمام وام‌های مسکنی را که بین سال‌های 2009 تا 2015 توسط انجمن ملی وام مسکن فدرال (فانی می) و شرکت وام مسکن فدرال (فردی مک) نگهداری یا به اوراق بهادار تبدیل شده‌اند، استفاده می‌کنید.

قدرت پردازش زبان طبیعی (NLP) را باز کنید و مهارت های تجزیه و تحلیل متن خود را به سطح بعدی ببرید! این دوره شما را با ابزارهای ضروری برای پردازش، تجزیه و تحلیل و استخراج بینش از داده های متنی مجهز می کند. با اصول پردازش متن، مانند نشانه‌سازی، واژه‌سازی و ریشه‌یابی شروع کنید تا با استفاده از کیسه کلمات (BoW)، TF-IDF و جاسازی‌ها، ویژگی‌های عددی معنادار را از متن استخراج کنید. در نهایت، با استفاده از Hugging Face، از قدرت مدل‌های ترانسفورماتور پیشرفته استفاده کنید. انجام تجزیه و تحلیل احساسات، طبقه بندی محتوا، تجزیه و تحلیل روابط پرسش و پاسخ، ارزیابی مقبولیت گرامری، و تولید متن با استفاده از جدیدترین مدل ها.

SpaCy را بیاموزید، کتابخانه استاندارد صنعتی NLP که به سرعت در حال رشد است، برای کارهایی مانند رمزگذاری، تجزیه، و شناسایی موجودیت نامگذاری شده. بر عملیات اصلی مسلط شوید، از کلاس‌هایی مانند Doc و Token استفاده کنید و مدل‌های قطار را آموزش دهید. عبارات را با تطبیق الگو استخراج کنید، اجزای خط لوله سفارشی ایجاد کنید، و نمونه های واقعی را برای پروژه های NLP خود مدیریت کنید.

ما قبل از اینکه خواندن را یاد بگیریم صحبت کردن را یاد می گیریم. حتی در عصر دیجیتال، روش اصلی ارتباط ما گفتار است. پردازش زبان گفتاری با پایتون به شما کمک می کند فایل های صوتی را بارگیری، تبدیل و رونویسی کنید. با دیدن اینکه صدای خام در پایتون چگونه به نظر می رسد شروع می کنید. و سپس با کار کردن با نمونه‌ای از موارد استفاده تجاری، رونویسی و طبقه‌بندی داده‌های تماس تلفنی پایان دهید.

آیا می خواهید ساختارهای داده پیچیده را به روشی تکراری پرس و جو کنید؟ آیا به ساختارهای داده سلسله مراتبی که نیاز به پرس و جو دارند دسترسی دارید؟ این دوره ابزارهای مورد نیاز برای حل این سوالات را به شما آموزش می دهد. شما یاد خواهید گرفت که چگونه پرس و جوهای بازگشتی بنویسید و ساختارهای داده سلسله مراتبی را جستجو کنید. برای انجام این کار، از عبارات جدول مشترک (CTE) و اصل بازگشت در طیف گسترده ای از مجموعه داده ها استفاده خواهید کرد. به عنوان مثال، در مجموعه داده های برنامه پرواز جستجو می کنید و یاد می گیرید که چگونه بهترین و ارزان ترین ارتباط بین دو فرودگاه را پیدا کنید. پس از اتمام این دوره، اصل بازگشت را درک خواهید کرد و می توانید مدل های داده سلسله مراتبی را شناسایی و ایجاد کنید.