مباحث پیشرفته در یادگیری ژرف

Advanced Topics in Deep Learning

شماره درس: ۴۰۹۵۹.۲ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: یادگیری ژرف هم‌نیاز: –

اهداف درس

با پیشرفت زمینه یادگیری ژرف و گسترش کاربردهای آن در حوزه‌های مختلف، در چند سال اخیر بهبودهای متعددی در معماری‌ها و رویکردهای یادگیری ایجاد شده است. در این درس از یک جهت معماری‌های اخیر مورد بررسی قرار خواهند گرفت و شبکه‌های مرزدانش در تعدادی از کاربردهای مهم معرفی خواهد شد. از سمت دیگر رویکردهای مختلف یادگیری و چگونگی به کارگیری موثر در مدل‌های ژرف بحث خواهد شد و مواردی نظیر یادگیری بازنمایی در شرایط نظارتی مختلف و انواع تعمیم‌پذیری بحث خواهد شد.

ریز مواد

  1. مقدمه (۱ جلسه)
  2. مباحث نظری در یادگیری ژرف (۲ جلسه)
    • بهینه‌سازی در یادگیری ژرف
    • تعمیم‌پذیری در شبکه‌های ژرف
  3. شبکه‌های عصبی بیزی (Bayesian) و استنتاج (۳ جلسه)
    • شبکه‌های عصبی تصادفی (stochastic)
    • شبکه‌های عصبی بیزی
    • روش‌های استنتاج بیزی
  4. شبکه‌های مولد (generative) (سه جلسه)
    • انواع شبکه‌های GAN
    • انواع شبکه‌های VAE
    • شبکه‌های مبتنی بر جریان (flow-based)
  5. شبکه‌های مبدل (Transformer) (دو جلسه)
    • Transformer
    • انواع BERT و GPT
    • شبکه‌های مبتنی بر Transformer در حوزه تصویر
  6. شبکه‌های عصبی گرافی (۲ جلسه)
    • فیلتر گرافی
    • شبکه‌های گرافی پیچشی (GCNs)
    • GraphSAGE
    • شبکه توجه گرافی (GAT)
  7. تقطیر دانش (knowledge distillation) (یک جلسه)
  8. شبکه‌های ژرف برای یادگیری چندوظیفه‌ای (multi-task) (یک جلسه)
  9. یادگیری شباهت (similarity) ژرف (۱ جلسه)
  10. خوشه‌بندی ژرف (۱ جلسه)
    • ODC، Deep Cluster و …
  11. یادگیری خودنظارتی (self-supervised) (دو جلسه)
    • وظایف pretext
    • یادگیری خودنظارتی چندوجهی (multi-modal)
    • یادگیری تمایزی (contrastive) و بانک حافظه، کدگذار تکانه‌ای (momentum encoder)
    • شبکه‌هایی نظیر SimCLR و SWaV
  12. یادگیری نیمه-نظارتی ژرف (semi-supervised) (یک جلسه)
    • رویکرد مبتنی بر سازگاری (consistency)
    • رویکرد مبتنی بر یادگیری تمایزی (contrastive)
    • داده‌افزایی (data augmentation)
  13. مدل‌های ژرف در ایجاد تعمیم‌پذیری فراتر از معمول (۲ جلسه)
    • تطبیق دامنه (domain adaptation)
    • تعمیم دامنه (domain generalization)
    • تعمیم‌پذیری خارج از دامنه (Out-of-Domain)
  14. معماری عصبی (neural architecture) (دو جلسه)
    • جستجوی معماری عصبی
    • هرس شبکه (network pruning)
    • شبکه‌های تنک (sparse)
  15. سخت‌افزارها و سیستم‌ها برای مدل‌های ژرف (یک جلسه)
    • CPU در برابر GPU در برابر سخت‌افزارهای اختصاصی برای مدل‌های ژرف
    • پردازش سری، پردازش موازی و پردازش توزیع شده
    • تسریع (speed up)
    • فشرده‌سازی مدل (model compression)
  16. بصری‌سازی (visualization) و تفسیرپذیری (interpretability) شبکه‌های ژرف (۲ جلسه)
  17. شبکه‌های مرز دانش در حوزه‌های بینایی ماشین، پردازش زبان طبیعی و پردازش گفتار (۲ جلسه)
  18. مباحث پیشرفته (۱ جلسه)
    • به‌کارگیری ساختارهای پیمانه‌ای (modular)، ارتباطات تنک (sparse) و بازنمایی علی (causal representation)

ارزیابی

  • تمرین‌: ۲۰٪
  • میان‌ترم: ۲۰٪
  • پایان‌ترم: ۲۰٪
  • پروژه و کار تحقیقاتی: ۴۰٪

مراجع

  • Simon J.D. Prince. Understanding Deep Learning. MIT Press, 2023.