ترانسفورماتورهای از پیش آموزش دیده (GPT)

مدل‌های زبان بزرگ مانند GPT-3.5، که ChatGPT را تقویت می‌کند، نحوه تعامل انسان با رایانه‌ها و نحوه پردازش متن توسط رایانه‌ها را تغییر می‌دهد. این دوره ایده های اساسی پردازش زبان طبیعی و مدل سازی زبان را که زیربنای این مدل های زبانی بزرگ است، معرفی می کند. ما اصول اولیه نحوه عملکرد مدل‌های زبان و ویژگی‌های چگونگی ساخت رویکردهای مبتنی بر عصبی جدید را بررسی خواهیم کرد. ما نوآوری‌های کلیدی را بررسی خواهیم کرد که مدل‌های زبان بزرگ مبتنی بر Transformer را قادر می‌سازد تا در حل وظایف زبانی مختلف غالب شوند. در نهایت، چالش‌های اعمال این مدل‌های زبانی بزرگ را برای مشکلات مختلف از جمله مشکلات اخلاقی در ساخت و استفاده از آنها بررسی خواهیم کرد. از طریق آزمایشگاه‌های عملی، در مورد بلوک‌های سازنده ترانسفورماتورها یاد می‌گیریم و از آنها برای تولید متن جدید استفاده می‌کنیم. این تمرین‌های پایتون شما را در فرآیند بکارگیری یک مدل زبان کوچک‌تر و درک اینکه چگونه می‌توان آن را ارزیابی و برای مشکلات مختلف اعمال کرد، گام برمی‌دارد. آزمون های تمرینی منظم به تقویت دانش کمک می کند و شما را برای ارزیابی های درجه بندی شده آماده می کند.