در دنیای داده های بزرگ، اطلاعات بیشتر و بیشتری به صورت متنی مصرف و تحلیل می شود. وب‌سایت‌ها، رسانه‌های اجتماعی، ایمیل‌ها و چت‌ها به منابع کلیدی داده‌ها و بینش‌ها تبدیل شده‌اند. اگر با داده ها کار می کنید، درک نحوه برخورد با داده های متنی بدون ساختار ضروری است. در این دوره، مربی Kumaran Ponnambalam به شما کمک می کند تا مجموعه مهارت های متن کاوی خود را بسازید و تکنیک های کلیدی استخراج، پاکسازی و پردازش متن در پایتون را پوشش دهد. کوماران مفاهیم کلیدی پردازش متن مانند رمزگذاری و ریشه‌یابی را بررسی می‌کند. او همچنین به تکنیک هایی برای تبدیل متن به فرم آماده تجزیه و تحلیل، از جمله n-gram و TF-IDF نگاه می کند. در طول مسیر، او نمونه هایی از این تکنیک ها را با استفاده از پایتون و کتابخانه NLTK ارائه می کند.

علاقه مند به افزایش دانش خود از چشم انداز کلان داده هستید؟ این دوره برای کسانی است که تازه به علم داده می پردازند و علاقه مند به درک دلیل به وجود آمدن عصر داده های بزرگ هستند. این برای کسانی است که می خواهند با اصطلاحات و مفاهیم اصلی پشت مشکلات، برنامه ها و سیستم های کلان داده آشنا شوند. این برای کسانی است که می خواهند به این فکر کنند که چگونه داده های بزرگ ممکن است در تجارت یا حرفه آنها مفید باشد. مقدمه‌ای بر یکی از رایج‌ترین چارچوب‌ها، Hadoop، ارائه می‌کند که تجزیه و تحلیل کلان داده‌ها را آسان‌تر و در دسترس‌تر کرده است -- افزایش پتانسیل داده‌ها برای تغییر جهان ما! در پایان این دوره، شما قادر خواهید بود: * چشم انداز کلان داده را شامل نمونه هایی از مشکلات داده های بزرگ در دنیای واقعی از جمله سه منبع کلیدی داده های بزرگ: افراد، سازمان ها و حسگرها توصیف کنید. * V از داده های بزرگ (حجم، سرعت، تنوع، صحت، ظرفیت و ارزش) و اینکه چرا هر کدام بر جمع آوری داده ها، نظارت، ذخیره سازی، تجزیه و تحلیل و گزارش تأثیر می گذارد را توضیح دهید. * با استفاده از یک فرآیند 5 مرحله ای برای ساختار تجزیه و تحلیل خود، ارزش داده های بزرگ را بدست آورید. * مشکلات کلان داده را شناسایی کنید و چه چیزهایی را نام ببرید و بتوانید مشکلات کلان داده را به عنوان سؤالات علم داده بازنویسی کنید. * توضیحی در مورد مولفه های معماری و مدل های برنامه نویسی مورد استفاده برای تجزیه و تحلیل داده های بزرگ مقیاس پذیر ارائه دهید. * ویژگی ها و ارزش اجزای پشته Hadoop از جمله سیستم مدیریت منابع و شغل YARN، سیستم فایل HDFS و مدل برنامه نویسی MapReduce را خلاصه کنید. * یک برنامه را با استفاده از Hadoop نصب و اجرا کنید! این دوره برای کسانی است که تازه وارد علم داده می شوند. هیچ تجربه برنامه نویسی قبلی مورد نیاز نیست، اگرچه توانایی نصب برنامه ها و استفاده از ماشین مجازی برای تکمیل تکالیف عملی ضروری است. الزامات سخت افزاری: (الف) پردازنده چهار هسته ای (پشتیبانی VT-x یا AMD-V توصیه می شود)، 64 بیتی؛ (ب) 8 گیگابایت رم؛ (C) 20 گیگابایت دیسک رایگان. نحوه پیدا کردن اطلاعات سخت افزاری خود: (ویندوز): با کلیک بر روی دکمه Start، روی Computer راست کلیک کرده و سپس روی Properties کلیک کنید. (Mac): با کلیک بر روی منوی اپل و کلیک کردن روی «درباره این مک»، نمای کلی را باز کنید. اکثر رایانه‌های با رم 8 گیگابایتی خریداری شده در 3 سال گذشته حداقل شرایط لازم را برآورده می‌کنند. شما به اتصال اینترنت پرسرعت نیاز دارید زیرا فایل‌هایی تا حجم 4 گیگابایت را دانلود خواهید کرد. نرم افزار مورد نیاز: این دوره متکی بر چندین ابزار نرم افزار منبع باز از جمله Apache Hadoop است. تمامی نرم افزارهای مورد نیاز را می توان به صورت رایگان دانلود و نصب کرد. الزامات نرم افزار عبارتند از: Windows 7+، Mac OS X 10.10+، Ubuntu 14.04+ یا CentOS 6+ VirtualBox 5+.

در این دوره با چهار مرحله از چرخه مدیریت بلایا آشنا می شوید. کاهش، آماده سازی، پاسخ و بازیابی. شما در این دوره از طریق دو مطالعه موردی کار خواهید کرد. در مرحله اول، از بینایی کامپیوتری برای تجزیه و تحلیل تصاویر ماهواره ای طوفان هاروی در سال 2017 برای شناسایی آسیب در مناطق آسیب دیده استفاده خواهید کرد. در مرحله دوم، از تکنیک‌های پردازش زبان طبیعی برای بررسی روند درخواست‌های کمک پس از زلزله 2010 در هائیتی استفاده خواهید کرد.