طراحی آزمایشی بخش مهمی از تجزیه و تحلیل داده‌ها در هر زمینه‌ای است، خواه در تجارت، بهداشت و یا فناوری کار کنید. اگر می خواهید از داده ها برای پاسخ به یک سوال استفاده کنید، باید یک آزمایش طراحی کنید! در این دوره با طراحی تجربی پایه، از جمله طرح های بلوکی و فاکتوریل و آزمون های آماری رایج مانند آزمون های t و ANOVA آشنا خواهید شد. شما از داده های R داخلی و مجموعه داده های دنیای واقعی از جمله نظرسنجی CDC NHANES، امتیازات SAT از مدارس دولتی نیویورک، و داده های وام باشگاه وام استفاده خواهید کرد. پس از دوره، شما قادر خواهید بود آزمایشات خود را طراحی و تجزیه و تحلیل کنید!

احتمال مطالعه پیش‌بینی در مورد پدیده‌های تصادفی است. در این دوره، با استفاده از مثال چرخش سکه، با مفاهیم متغیرهای تصادفی، توزیع‌ها و شرطی‌سازی آشنا می‌شوید. همچنین شهودی برای حل مسائل احتمال از طریق شبیه سازی تصادفی به دست خواهید آورد. این اصول به شما در درک استنتاج آماری کمک می کند و می تواند برای نتیجه گیری از داده ها استفاده شود.

یکی از جنبه های اساسی تحلیل آماری استنتاج یا فرآیند نتیجه گیری در مورد جمعیت بزرگتر از نمونه داده ها است. اگرچه غیر شهودی است، اما روش استاندارد تلاش برای رد ادعای تحقیقی است که مورد علاقه نیست. به عنوان مثال، برای نشان دادن اینکه یک درمان پزشکی بهتر از دیگری است، می‌توانیم فرض کنیم که این دو درمان به نرخ بقای مساوی منجر می‌شوند تا پس از آن توسط داده‌ها رد شوند. علاوه بر این، ما ایده یک مقدار p یا درجه عدم توافق بین داده ها و فرضیه را معرفی می کنیم. ما همچنین به فواصل اطمینان می پردازیم که میزان تأثیر مورد علاقه را اندازه گیری می کند (مثلاً اینکه یک درمان چقدر بهتر از دیگری است).

تحلیل داده‌های بیزی رویکردی برای مدل‌سازی آماری و یادگیری ماشینی است که روز به روز محبوب‌تر می‌شود. این یک چارچوب یکنواخت برای ساخت مدل‌های خاص مسئله ارائه می‌کند که می‌تواند هم برای استنتاج آماری و هم برای پیش‌بینی استفاده شود. این دوره شما را با تجزیه و تحلیل داده های بیزی آشنا می کند: چیست، چگونه کار می کند، و چرا ابزار مفیدی است که در جعبه ابزار علم داده خود داشته باشید.

در این دوره، مدلسازی با داده را یاد خواهید گرفت. مدل‌ها تلاش می‌کنند تا رابطه بین یک متغیر نتیجه مورد علاقه و یک سری متغیرهای توضیحی/پیش‌بینی‌کننده را به تصویر بکشند. چنین مدل هایی را می توان برای هر دو هدف توضیحی استفاده کرد، به عنوان مثال. "آیا دانستن سن اساتید به توضیح نمرات ارزشیابی تدریس آنها کمک می کند؟" و اهداف پیش بینی کننده، به عنوان مثال، "چقدر می توانیم قیمت خانه را بر اساس اندازه و شرایط آن پیش بینی کنیم؟" شما از مهارت‌های منظم خود برای ساختن و تفسیر چنین مدل‌هایی استفاده خواهید کرد. این دوره حول محور استفاده از رگرسیون خطی، یکی از متداول ترین و قابل درک ترین رویکردها برای مدل سازی است. چنین مدل‌سازی و تفکری در زمینه‌های بسیار متنوعی از جمله آمار، استنتاج علی، یادگیری ماشین و هوش مصنوعی استفاده می‌شود.

مدل های افزودنی تعمیم یافته ابزار قدرتمندی برای پیش بینی و استنتاج هستند. انعطاف‌پذیرتر از مدل‌های خطی، و قابل درک‌تر از روش‌های جعبه سیاه، GAMها روابط در داده‌ها را به‌عنوان توابع غیرخطی مدل‌سازی می‌کنند که بسیار سازگار با انواع مختلف داده‌ها و مسائل علم داده هستند. در این دوره، نحوه عملکرد GAM ها و نحوه ساخت آنها با بسته محبوب mgcv را خواهید آموخت. شما یاد خواهید گرفت که چگونه نتایج مدل خود را تفسیر، توضیح و تجسم کنید، و چگونه مشکلات مدل را تشخیص داده و رفع کنید. شما با مجموعه داده‌هایی کار خواهید کرد که به شما نشان می‌دهند چگونه GAMها را در موقعیت‌های مختلف اعمال کنید: داده‌های عملکرد خودرو برای ساخت مدل‌های خطی و غیرخطی مختلط، داده‌های آلودگی خاک برای ساخت مدل‌های مکانی، و داده‌های خرید مصرف‌کننده برای طبقه‌بندی و پیش‌بینی. در پایان این دوره، جعبه ابزاری برای حل بسیاری از مسائل علم داده خواهید داشت.

هنگام کار با داده‌ها، اغلب می‌خواهیم مدل‌هایی برای پیش‌بینی رویدادهای آینده ایجاد کنیم، اما همچنین می‌خواهیم درک عمیق‌تری از نحوه اتصال یا ساختار داده‌هایمان داشته باشیم. در این دوره، ارتباط داده ها را با استفاده از مدل سازی معادلات ساختاری (SEM) با زبان برنامه نویسی R با استفاده از بسته lavaan بررسی می کنید. SEM شما را با متغیرهای پنهان و آشکار و نحوه ایجاد مدل‌های اندازه‌گیری، ارزیابی دقت مدل اندازه‌گیری و رفع مدل‌های برازش ضعیف آشنا می‌کند. در طول دوره، مجموعه داده های کلاسیک SEM، مانند مجموعه داده های Holzinger و Swineford (1939) و Bollen (1989) را بررسی خواهید کرد. شما همچنین با استفاده از مقیاس هوش بزرگسالان وکسلر از طریق یک مطالعه موردی مدل چند عاملی کار خواهید کرد. پس از این دوره، می‌توانید در داده‌های خود غوطه‌ور شوید و درک عمیق‌تری از نحوه هماهنگی همه آنها با هم به دست آورید.

در این دوره، شما در برازش مدل‌های ARIMA به داده‌های سری زمانی با استفاده از R تبدیل به یک متخصص خواهید شد. ابتدا ماهیت داده‌های سری زمانی را با استفاده از ابزارهای موجود در بسته آماری R کشف خواهید کرد. در مرحله بعد، یاد می گیرید که چگونه مدل های مختلف ARMA را با داده های شبیه سازی شده (جایی که مدل صحیح را می شناسید) با استفاده از بسته R astsa تطبیق دهید. پس از تسلط بر اصول اولیه، یاد خواهید گرفت که چگونه مدل‌های ARMA یکپارچه یا مدل‌های ARIMA را با مجموعه‌های مختلف داده واقعی تطبیق دهید. شما یاد خواهید گرفت که چگونه اعتبار یک مدل ARIMA را بررسی کنید و یاد خواهید گرفت که چگونه داده های سری زمانی را پیش بینی کنید. در نهایت، نحوه تطبیق مدل‌های ARIMA را با داده‌های فصلی، از جمله پیش‌بینی با استفاده از بسته astsa، یاد خواهید گرفت.

تقریباً هر شرکتی اطلاعات دیجیتال را به عنوان بخشی از کمپین های بازاریابی خود جمع آوری می کند و از آن برای بهبود تاکتیک های بازاریابی خود استفاده می کند. دانشمندان داده اغلب وظیفه دارند از این اطلاعات برای توسعه مدل‌های آماری استفاده کنند که متخصصان بازاریابی را قادر می‌سازد تا ببینند آیا اقدامات آنها نتیجه داده است یا خیر. در این دوره آموزشی، یاد خواهید گرفت که چگونه با ساختن مدل های ساده پاسخ بازار، الگوهای اقدامات بازاریابی و واکنش های مشتری را کشف کنید. به طور خاص، یاد خواهید گرفت که چگونه تأثیر متغیرهای بازاریابی، مانند قیمت و تاکتیک‌های تبلیغاتی مختلف را با استفاده از کل فروش و داده‌های انتخاب در سطح فردی، کمی کنید.

رگرسیون خطی به‌عنوان مجموعه‌ای از آمار عمل می‌کند، اما نمی‌تواند برخی از انواع داده‌های پیچیده را مدیریت کند. یک مدل خطی تعمیم‌یافته (GLM) بر اساس رگرسیون خطی گسترش می‌یابد تا توزیع‌های غیرعادی شامل داده‌های دوجمله‌ای و تعداد را شامل شود. در طول این دوره، جعبه ابزار علم داده خود را گسترش می‌دهید تا GLMها را در R بگنجانید. به عنوان بخشی از یادگیری در مورد GLMها، یاد خواهید گرفت که چگونه داده‌های دوجمله‌ای مدل را با رگرسیون لجستیک تطبیق دهید و داده‌ها را با رگرسیون پواسون بشمارید. همچنین یاد خواهید گرفت که چگونه این نتایج را بفهمید و آنها را با ggplot2 رسم کنید.

این دوره با مرور شیب‌ها و بریدگی‌ها در رگرسیون‌های خطی قبل از رفتن به جلوه‌های تصادفی آغاز می‌شود. شما یاد خواهید گرفت که یک افکت تصادفی چیست و چگونه از آن برای مدل سازی داده های خود استفاده کنید. در مرحله بعد، دوره رگرسیون خطی با اثر مختلط را پوشش می دهد. این مدل‌های قدرتمند به شما این امکان را می‌دهند که داده‌ها را با ساختار پیچیده‌تری نسبت به رگرسیون خطی استاندارد کاوش کنید. این دوره سپس رگرسیون خطی با اثر مختلط تعمیم یافته را آموزش می دهد. مدل‌های با جلوه‌های ترکیبی خطی تعمیم‌یافته به شما امکان می‌دهند انواع بیشتری از داده‌ها، از جمله پاسخ‌های باینری و داده‌های شمارش را مدل‌سازی کنید. در نهایت، این دوره به تجزیه و تحلیل اندازه گیری های مکرر به عنوان یک مورد خاص از مدل سازی با اثر مختلط می پردازد. این نوع داده ها زمانی ظاهر می شوند که افراد در طول زمان دنبال شوند و اندازه گیری ها در فواصل زمانی جمع آوری شوند. در طول دوره شما با داده های واقعی کار خواهید کرد تا با استفاده از مدل های اثرات مختلط به سؤالات جالب پاسخ دهید.

مدل‌سازی مخلوط راهی برای نمایش جمعیت‌ها در زمانی است که به ناهمگونی آنها علاقه مندیم. مدل‌های مخلوط از توزیع‌های احتمال آشنا (مانند گاوسی، پواسون، دوجمله‌ای) برای ارائه یک چارچوب آماری راحت و در عین حال رسمی برای خوشه‌بندی و طبقه‌بندی استفاده می‌کنند. برخلاف رویکردهای خوشه‌بندی استاندارد، می‌توانیم احتمال تعلق به یک خوشه را تخمین بزنیم و در مورد جمعیت‌های فرعی استنتاج کنیم. به عنوان مثال، در زمینه بازاریابی، ممکن است بخواهید گروه های مختلف مشتریان را دسته بندی کنید و احتمال خرید محصولات خاص آنها را پیدا کنید تا آنها را با تبلیغات سفارشی بهتر هدف قرار دهید. هنگام استفاده از پردازش زبان طبیعی برای مجموعه بزرگی از اسناد، ممکن است بخواهید اسناد را در موضوعات مختلف دسته بندی کنید و درک کنید که هر موضوع در هر سند چقدر اهمیت دارد. در این دوره آموزشی، می آموزید که مدل های مخلوط چیست، چگونه تخمین زده می شوند و چه زمانی مناسب است آنها را اعمال کنید!

مردم هر روز انتخاب می کنند. آنها محصولاتی مانند آب پرتقال یا ماشین را انتخاب می‌کنند، تصمیم می‌گیرند به چه کسی رای بدهند و نحوه رسیدن به محل کار را انتخاب می‌کنند. بازاریابان، خرده فروشان، طراحان محصول، دانشمندان علوم سیاسی، برنامه ریزان حمل و نقل، جامعه شناسان و بسیاری دیگر می خواهند بفهمند چه چیزی باعث این انتخاب ها می شود. مدل‌های انتخاب پیش‌بینی می‌کنند که افراد چه چیزی را به عنوان تابعی از ویژگی‌های گزینه‌های موجود انتخاب می‌کنند و می‌توانند برای تصمیم‌گیری‌های مهم طراحی محصول مورد استفاده قرار گیرند. این دوره به شما یاد می دهد که چگونه داده های انتخابی را سازماندهی کنید، مدل های انتخاب را در R تخمین بزنید و یافته ها را ارائه دهید. این دوره هم تجزیه و تحلیل انتخاب های مشاهده شده در دنیای واقعی و هم رویکرد مبتنی بر نظرسنجی به نام تحلیل مشترک را پوشش می دهد.

رویکرد بیزی به آمار و یادگیری ماشینی منطقی، انعطاف‌پذیر و شهودی است. در این دوره، شما یک خانواده از مدل های بیزی پایه و قابل تعمیم را مهندسی و تجزیه و تحلیل خواهید کرد. دامنه این مدل‌ها از مدل‌های یک پارامتری اساسی تا مدل‌های رگرسیون خطی چند متغیره و تعمیم‌یافته میانی است. محبوبیت چنین مدل های بیزی همراه با در دسترس بودن منابع محاسباتی مورد نیاز برای اجرای آنها افزایش یافته است. شما از یکی از این منابع استفاده خواهید کرد - بسته rjags در R. با ترکیب قدرت R با موتور JAGS (Just Another Gibbs Sampler)، rjags چارچوبی برای مدل‌سازی، استنتاج و پیش‌بینی بیزی ارائه می‌دهد.

تخمین بیزی جایگزینی انعطاف‌پذیر برای تکنیک‌های مدل‌سازی است که در آن استنتاج‌ها به مقادیر p بستگی دارد. در این دوره یاد خواهید گرفت که چگونه مدل های رگرسیون خطی را با استفاده از روش های بیزی و بسته rstanarm تخمین بزنید. شما با توزیع های قبلی، بررسی مدل پیش بینی پسین و مقایسه مدل در چارچوب بیزی آشنا خواهید شد. همچنین یاد خواهید گرفت که چگونه از مدل تخمینی خود برای پیش‌بینی داده‌های جدید استفاده کنید.

اکنون که با اصول تحلیل شبکه آشنا شدید، زمان آن فرا رسیده است که نحوه اعمال این مفاهیم را در مجموعه داده های بزرگ دنیای واقعی مشاهده کنید. شما از طریق سه مطالعه موردی مختلف کار خواهید کرد که هر کدام بر اساس کار قبلی شما است. این مطالعات موردی با انواع داده‌هایی که در محیط‌های دانشگاهی و صنعتی مشاهده خواهید کرد، کار می‌کنند. ما برخی از چالش‌های محاسباتی و تجسمی را که با آن‌ها روبرو خواهید بود و چگونگی غلبه بر آنها را بررسی خواهیم کرد. دانش شما در مورد igraph به رشد خود ادامه خواهد داد، اما ما از کتابخانه های تجسمی دیگر نیز استفاده خواهیم کرد که به شما کمک می کنند تجسم های خود را به وب بیاورید.

آیا می خواهید مهارت های احتمالی خود را به سطح بعدی ارتقا دهید؟ این دوره با استفاده از یادگیری مبتنی بر مسئله با پازل های احتمالی به عنوان چارچوب، به شما کمک می کند تا به آنجا برسید. همانطور که شما از طریق راه حل های آنها راهنمایی می شوید، ابزارهای کدگذاری و استراتژی های کلی برای حل مشکلات احتمالی که ممکن است در بسیاری از موقعیت های دیگر با آنها روبرو شوید به دست خواهید آورد. این دوره که بر اساس موضوع سازماندهی شده است، با مسائل کلاسیک مانند Birthday Problem و Monty Hall شروع می شود و با پازل هایی که شامل پوکری مانند Texas Hold'em و World Series of Poker است، پایان می یابد!

بسیاری از تحقیقات بیولوژیکی، از پزشکی گرفته تا بیوتکنولوژی، به سمت تجزیه و تحلیل توالی حرکت می کنند. ما اکنون در حال تولید کلان داده های هدفمند و کل ژنوم هستیم که برای پاسخ به سوالات بیولوژیکی نیاز به تجزیه و تحلیل دارد. برای کمک به شما در شروع کار، با پروژه The Bioconductor آشنا می شوید. Bioconductor زیرساختی برای به اشتراک گذاشتن ابزارهای نرم افزاری (بسته ها)، گردش کار و مجموعه داده ها برای تجزیه و تحلیل و درک داده های ژنومی است. Bioconductor یک پلت فرم عالی است که برای شما قابل دسترسی است و یک منبع نرم افزاری باز توسعه یافته توسط جامعه است. در پایان این دوره، می‌توانید از بسته‌های ضروری Bioconductor استفاده کنید و زیرساخت‌های آن و برخی از مجموعه داده‌های داخلی را درک کنید. استفاده از BSgenome، Biostrings، IRanges، GenomicRanges، TxDB، ShortRead و Rqc با مجموعه داده های واقعی از گونه های مختلف، تجربه استثنایی خواهد بود!

آمار مطالعه نحوه جمع آوری، تجزیه و تحلیل و نتیجه گیری از داده ها است. این ابزار بسیار ارزشمندی است که می توانید از آن برای تمرکز بر آینده و استنباط پاسخ به هزاران سوال استفاده کنید. به عنوان مثال، احتمال اینکه شخصی محصول شما را بخرد چقدر است، تیم پشتیبانی شما چند تماس دریافت خواهد کرد، و چه اندازه شلوار جین باید برای 95 درصد جمعیت تولید کنید؟ در این دوره آموزشی، از داده‌های فروش برای کشف نحوه پاسخگویی به سؤالاتی مانند اینها استفاده می‌کنید، زیرا مهارت‌های آماری خود را افزایش می‌دهید و یاد می‌گیرید چگونه میانگین‌ها را محاسبه کنید، از نمودارهای پراکنده برای نشان دادن رابطه بین مقادیر عددی و محاسبه همبستگی استفاده کنید. شما همچنین با احتمال، ستون فقرات استدلال آماری مقابله خواهید کرد، و یاد خواهید گرفت که چگونه یک مطالعه خوب طراحی کنید تا از داده‌ها نتیجه بگیرید.

آیا نگران سوابق نادرست یا مشکوک در داده های خود هستید، اما مطمئن نیستید از کجا شروع کنید؟ یک الگوریتم تشخیص ناهنجاری می تواند کمک کند! تشخیص ناهنجاری مجموعه ای از تکنیک هایی است که برای شناسایی نقاط داده غیرمعمول طراحی شده اند و برای شناسایی تقلب و محافظت از شبکه های کامپیوتری در برابر فعالیت های مخرب بسیار مهم هستند. در این دوره، آزمون‌های آماری برای شناسایی نقاط پرت را بررسی می‌کنید و یاد می‌گیرید که از الگوریتم‌های پیچیده امتیازدهی ناهنجاری مانند ضریب پرت محلی و جنگل جداسازی استفاده کنید. شما الگوریتم‌های تشخیص ناهنجاری را برای شناسایی شراب‌های غیرعادی در مجموعه داده‌های کیفیت شراب UCI و همچنین برای تشخیص موارد بیماری تیروئید از طریق اندازه‌گیری غیرطبیعی هورمون اعمال خواهید کرد.