مقیاس‌بندی مدل‌های هوش مصنوعی با ترکیبی از متخصصان (MOE): اصول طراحی و کاربردهای دنیای واقعی

Mixture of Experts (MoE) یک معماری شبکه عصبی پیشرفته است که مقیاس مدل کارآمد را با مسیریابی ورودی ها از طریق زیر مجموعه کوچکی از زیرشبکه های خبره امکان پذیر می کند. در این دوره، مربی Vaibhava Lakshmi Ravideshik به بررسی عملکرد درونی MoE، از اجزای اصلی آن گرفته تا استراتژی‌های مسیریابی پیشرفته مانند دروازه‌های top-k می‌پردازد. این دوره درک تئوری را با کدنویسی عملی با استفاده از PyTorch برای پیاده‌سازی یک لایه MoE ساده‌شده متعادل می‌کند. در طول مسیر، شما همچنین فرصتی خواهید داشت تا برنامه های واقعی MoE را در مدل های پیشرفته مانند GPT-4 و Mixtral بررسی کنید.