یادگیری ماشینی: خوشه بندی و بازیابی

مطالعات موردی: یافتن اسناد مشابه یک خواننده به یک مقاله خبری خاص علاقه دارد و شما می خواهید مقالات مشابهی را برای توصیه پیدا کنید. تصور درست از شباهت چیست؟ علاوه بر این، اگر میلیون ها سند دیگر وجود داشته باشد چه؟ هر بار که می‌خواهید یک سند جدید را بازیابی کنید، آیا باید در میان سایر اسناد جستجو کنید؟ چگونه اسناد مشابه را با هم گروه بندی می کنید؟ چگونه موضوعات جدید و نوظهوری را که اسناد پوشش می دهند کشف می کنید؟ در این مطالعه موردی سوم، با یافتن اسناد مشابه، الگوریتم های مبتنی بر شباهت را برای بازیابی بررسی خواهید کرد. در این دوره، شما همچنین نمایش های ساختار یافته برای توصیف اسناد موجود در مجموعه، از جمله خوشه بندی و مدل های عضویت ترکیبی، مانند تخصیص دیریکله پنهان (LDA) را بررسی خواهید کرد. شما برای یادگیری خوشه‌بندی اسناد، حداکثرسازی انتظارات (EM) را پیاده‌سازی خواهید کرد و نحوه مقیاس‌بندی روش‌ها را با استفاده از MapReduce مشاهده خواهید کرد. نتایج یادگیری: در پایان این دوره، شما قادر خواهید بود: ایجاد یک سیستم بازیابی اسناد با استفاده از k-نزدیکترین همسایه. -شناسایی معیارهای شباهت مختلف برای داده های متنی. -کاهش محاسبات در جستجوی k-نزدیکترین همسایه با استفاده از درختان KD. با استفاده از هش کردن حساس به محلی، نزدیکترین همسایگان را تقریبی تولید کنید. -مقایسه و مقایسه وظایف یادگیری تحت نظارت و بدون نظارت. -دسته بندی اسناد بر اساس موضوع با استفاده از k-means. - نحوه موازی کردن k-means را با استفاده از MapReduce توضیح دهید. -رویکردهای خوشه‌بندی احتمالی را با استفاده از مدل‌های مخلوط بررسی کنید. - برازش مخلوطی از مدل گاوسی با استفاده از حداکثرسازی انتظار (EM). -انجام مدل‌سازی عضویت مختلط با استفاده از تخصیص دیریکله نهفته (LDA). -مراحل نمونه‌بردار گیبس و نحوه استفاده از خروجی آن برای استنتاج را شرح دهید. -تکنیک های اولیه سازی را برای اهداف بهینه سازی غیر محدب مقایسه و کنتراست کنید. -این تکنیک ها را در پایتون پیاده سازی کنید.