با پیشرفت زمینه يادگیری ژرف و گسترش کاربردهای آن در حوزه‌های مختلف، در چند سال اخیر بهبودهای متعددی در معماری‌ها و رويکردهای يادگیری ايجاد شده است. در اين درس از يک جهت معماری‌های اخیر مورد بررسی قرار خواهند گرفت و شبکه‌های مرزدانش در تعدادی از کاربردهای مهم معرفی خواهد شد. از سمت ديگر رويکردهای مختلف يادگیری و چگونگی به کارگیری موثر در مدل‌های ژرف بحث خواهد شد و مواردی نظیر يادگیری بازنمايی در شرايط نظارتی مختلف و انواع تعمیم‌پذيری بحث خواهد شد.

1. مقدمه (۱ جلسه)
2. مباحث نظری در يادگیری ژرف (۲ جلسه)
   • بهینه‌سازی در يادگیری ژرف
   • تعمیم‌پذيری در شبکه‌های ژرف
3. شبکه‌های عصبی بیزی (Bayesian) و استنتاج (۳ جلسه)
   • شبکه‌های عصبی تصادفی (stochastic)
   • شبکه‌های عصبی بیزی
   • روش‌های استنتاج بیزی
4. شبکه‌های مولد (generative) (سه جلسه)
   • انواع شبکه‌های GAN
   • انواع شبکههای VAE
   • شبکههای مبتنی بر جريان (flow-based)
5. شبکه‌های مبدل (Transformer) (دو جلسه)
   • Transformer
   • انواع BERT و GPT
   • شبکههای مبتنی بر Transformer در حوزه تصوير
6. شبکه‌های عصبی گرافی (۲ جلسه)
   • فیلتر گرافی
   • شبکههای گرافی پیچشی (GCNs)
   • GraphSAGE
   • شبکه توجه گرافی (GAT)
7. تقطیر دانش (knowledge distillation) (یک جلسه)
8. شبکه‌های ژرف برای يادگیری چندوظیفه‌ای (multi-task) (یک جلسه)
9. يادگیری شباهت(similarity) ژرف (۱ جلسه)
10. خوشهٰ‌بندی ژرف (۱ جلسه)
    • ODC ،Deep Cluster و …
11. يادگیری خودنظارتی (self-supervised) (دو جلسه)
    • وظايف pretext
    • يادگیری خودنظارتی چندوجهی (multi-modal)
    • يادگیری تمايزی (contrastive) و بانک حافظه، کدگذار تکانه‌ای (momentum encoder)
    • شبکه‌هايی نظیر SimCLR و SWaV
12. يادگیری نیمه-نظارتی ژرف (semi-supervised) (یک جلسه)
    • رويکرد مبتنی بر سازگاری (consistency)
    • رويکرد مبتنی بر يادگیری تمايزی (contrastive)
    • داده‌افزايی (data augmentation)
13. مدل‌های ژرف در ايجاد تعمیم‌پذيری فراتر از معمول (۲ جلسه)
    • تطبیق دامنه (domain adaptation)
    • تعمیم دامنه (domain generalization)
    • تعمیم‌پذيری خارج از دامنه (Out-Of-Domain)
14. معماری عصبی (neural architecture) (دو جلسه)
    • جستجوی معماری عصبی
    • هرس شبکه (network pruning)
    • شبکه‌های تنک (sparse)
15. سختافزارها و سیستمها برای مدل‌های ژرف (یک جلسه)
    • CPU در برابر GPU در برابر سخت‌افزارهای اختصاصی برای مدل‌های ژرف
    • پردازش سری، پردازش موازی و پردازش توزيع شده
    • تسريع (speed up)
    • فشرده‌سازی مدل (model compression)
16. بصری‌سازی (visualization) و تفسیرپذيری (interpretability) شبکه‌های ژرف (۲ جلسه)
17. شبکه‌های مرز دانش در حوزه‌های بینايی ماشین، پردازش زبان طبیعی و پردازش گفتار (۲ جلسه)
18. مباحث پیشرفته (۱ جلسه)
    • به‌کارگیری ساختارهای پیمانه‌ای (modular)، ارتباطات تنک (sparse) و بازنمايی علی (causal representation)

• تمرین‌: ۲۰٪
• میان‌ترم: ۲۰٪
• پایان‌ترم: ۲۰٪
• پروژه و کار تحقیقاتی: ۴۰٪