با پیشرفت زمینه یادگیری ژرف و گسترش کاربردهای آن در حوزه‌های مختلف، در چند سال اخیر بهبودهای متعددی در معماری‌ها و رویکردهای یادگیری ایجاد شده است. در این درس از یک جهت معماری‌های اخیر مورد بررسی قرار خواهند گرفت و شبکه‌های مرزدانش در تعدادی از کاربردهای مهم معرفی خواهد شد. از سمت دیگر رویکردهای مختلف یادگیری و چگونگی به کارگیری موثر در مدل‌های ژرف بحث خواهد شد و مواردی نظیر یادگیری بازنمایی در شرایط نظارتی مختلف و انواع تعمیم‌پذیری بحث خواهد شد.

1. مقدمه (۱ جلسه)
2. مباحث نظری در یادگیری ژرف (۲ جلسه)
   • بهینه‌سازی در یادگیری ژرف
   • تعمیم‌پذیری در شبکه‌های ژرف
3. شبکه‌های عصبی بیزی (Bayesian) و استنتاج (۳ جلسه)
   • شبکه‌های عصبی تصادفی (stochastic)
   • شبکه‌های عصبی بیزی
   • روش‌های استنتاج بیزی
4. شبکه‌های مولد (generative) (سه جلسه)
   • انواع شبکه‌های GAN
   • انواع شبکه‌های VAE
   • شبکه‌های مبتنی بر جریان (flow-based)
5. شبکه‌های مبدل (Transformer) (دو جلسه)
   • Transformer
   • انواع BERT و GPT
   • شبکه‌های مبتنی بر Transformer در حوزه تصویر
6. شبکه‌های عصبی گرافی (۲ جلسه)
   • فیلتر گرافی
   • شبکه‌های گرافی پیچشی (GCNs)
   • GraphSAGE
   • شبکه توجه گرافی (GAT)
7. تقطیر دانش (knowledge distillation) (یک جلسه)
8. شبکه‌های ژرف برای یادگیری چندوظیفه‌ای (multi-task) (یک جلسه)
9. یادگیری شباهت (similarity) ژرف (۱ جلسه)
10. خوشه‌بندی ژرف (۱ جلسه)
    • ODC، Deep Cluster و …
11. یادگیری خودنظارتی (self-supervised) (دو جلسه)
    • وظایف pretext
    • یادگیری خودنظارتی چندوجهی (multi-modal)
    • یادگیری تمایزی (contrastive) و بانک حافظه، کدگذار تکانه‌ای (momentum encoder)
    • شبکه‌هایی نظیر SimCLR و SWaV
12. یادگیری نیمه-نظارتی ژرف (semi-supervised) (یک جلسه)
    • رویکرد مبتنی بر سازگاری (consistency)
    • رویکرد مبتنی بر یادگیری تمایزی (contrastive)
    • داده‌افزایی (data augmentation)
13. مدل‌های ژرف در ایجاد تعمیم‌پذیری فراتر از معمول (۲ جلسه)
    • تطبیق دامنه (domain adaptation)
    • تعمیم دامنه (domain generalization)
    • تعمیم‌پذیری خارج از دامنه (Out-of-Domain)
14. معماری عصبی (neural architecture) (دو جلسه)
    • جستجوی معماری عصبی
    • هرس شبکه (network pruning)
    • شبکه‌های تنک (sparse)
15. سخت‌افزارها و سیستم‌ها برای مدل‌های ژرف (یک جلسه)
    • CPU در برابر GPU در برابر سخت‌افزارهای اختصاصی برای مدل‌های ژرف
    • پردازش سری، پردازش موازی و پردازش توزیع شده
    • تسریع (speed up)
    • فشرده‌سازی مدل (model compression)
16. بصری‌سازی (visualization) و تفسیرپذیری (interpretability) شبکه‌های ژرف (۲ جلسه)
17. شبکه‌های مرز دانش در حوزه‌های بینایی ماشین، پردازش زبان طبیعی و پردازش گفتار (۲ جلسه)
18. مباحث پیشرفته (۱ جلسه)
    • به‌کارگیری ساختارهای پیمانه‌ای (modular)، ارتباطات تنک (sparse) و بازنمایی علی (causal representation)

• تمرین‌: ۲۰٪
• میان‌ترم: ۲۰٪
• پایان‌ترم: ۲۰٪
• پروژه و کار تحقیقاتی: ۴۰٪