ابزار کاربر

ابزار سایت


درس:۴۰۹۵۹.۲

مباحث پیشرفته در يادگیری ژرف

Advanced Topics in Deep Learning

شماره درس: ۴۰۹۵۹ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: یادگیری ژرف هم‌نیاز: –

اهداف درس

با پیشرفت زمینه يادگیری ژرف و گسترش کاربردهای آن در حوزه‌های مختلف، در چند سال اخیر بهبودهای متعددی در معماری‌ها و رويکردهای يادگیری ايجاد شده است. در اين درس از يک جهت معماری‌های اخیر مورد بررسی قرار خواهند گرفت و شبکه‌های مرزدانش در تعدادی از کاربردهای مهم معرفی خواهد شد. از سمت ديگر رويکردهای مختلف يادگیری و چگونگی به کارگیری موثر در مدل‌های ژرف بحث خواهد شد و مواردی نظیر يادگیری بازنمايی در شرايط نظارتی مختلف و انواع تعمیم‌پذيری بحث خواهد شد.

ریز مواد

  1. مقدمه (۱ جلسه)
  2. مباحث نظری در يادگیری ژرف (۲ جلسه)
    • بهینه‌سازی در يادگیری ژرف
    • تعمیم‌پذيری در شبکه‌های ژرف
  3. شبکه‌های عصبی بیزی (Bayesian) و استنتاج (۳ جلسه)
    • شبکه‌های عصبی تصادفی (stochastic)
    • شبکه‌های عصبی بیزی
    • روش‌های استنتاج بیزی
  4. شبکه‌های مولد (generative) (سه جلسه)
    • انواع شبکه‌های GAN
    • انواع شبکههای VAE
    • شبکههای مبتنی بر جريان (flow-based)
  5. شبکه‌های مبدل (Transformer) (دو جلسه)
    • Transformer
    • انواع BERT و GPT
    • شبکههای مبتنی بر Transformer در حوزه تصوير
  6. شبکه‌های عصبی گرافی (۲ جلسه)
    • فیلتر گرافی
    • شبکههای گرافی پیچشی (GCNs)
    • GraphSAGE
    • شبکه توجه گرافی (GAT)
  7. تقطیر دانش (knowledge distillation) (یک جلسه)
  8. شبکه‌های ژرف برای يادگیری چندوظیفه‌ای (multi-task) (یک جلسه)
  9. يادگیری شباهت(similarity) ژرف (۱ جلسه)
  10. خوشهٰ‌بندی ژرف (۱ جلسه)
    • ODC ،Deep Cluster و …
  11. يادگیری خودنظارتی (self-supervised) (دو جلسه)
    • وظايف pretext
    • يادگیری خودنظارتی چندوجهی (multi-modal)
    • يادگیری تمايزی (contrastive) و بانک حافظه، کدگذار تکانه‌ای (momentum encoder)
    • شبکه‌هايی نظیر SimCLR و SWaV
  12. يادگیری نیمه-نظارتی ژرف (semi-supervised) (یک جلسه)
    • رويکرد مبتنی بر سازگاری (consistency)
    • رويکرد مبتنی بر يادگیری تمايزی (contrastive)
    • داده‌افزايی (data augmentation)
  13. مدل‌های ژرف در ايجاد تعمیم‌پذيری فراتر از معمول (۲ جلسه)
    • تطبیق دامنه (domain adaptation)
    • تعمیم دامنه (domain generalization)
    • تعمیم‌پذيری خارج از دامنه (Out-Of-Domain)
  14. معماری عصبی (neural architecture) (دو جلسه)
    • جستجوی معماری عصبی
    • هرس شبکه (network pruning)
    • شبکه‌های تنک (sparse)
  15. سختافزارها و سیستمها برای مدل‌های ژرف (یک جلسه)
    • CPU در برابر GPU در برابر سخت‌افزارهای اختصاصی برای مدل‌های ژرف
    • پردازش سری، پردازش موازی و پردازش توزيع شده
    • تسريع (speed up)
    • فشرده‌سازی مدل (model compression)
  16. بصری‌سازی (visualization) و تفسیرپذيری (interpretability) شبکه‌های ژرف (۲ جلسه)
  17. شبکه‌های مرز دانش در حوزه‌های بینايی ماشین، پردازش زبان طبیعی و پردازش گفتار (۲ جلسه)
  18. مباحث پیشرفته (۱ جلسه)
    • به‌کارگیری ساختارهای پیمانه‌ای (modular)، ارتباطات تنک (sparse) و بازنمايی علی (causal representation)

ارزیابی

  • تمرین‌: ۲۰٪
  • میان‌ترم: ۲۰٪
  • پایان‌ترم: ۲۰٪
  • پروژه و کار تحقیقاتی: ۴۰٪

مراجع

  1. مقالات مرتبط با عناوین مربوطه
درس/۴۰۹۵۹.۲.txt · آخرین ویرایش: 2023/01/11 06:23 توسط محمد حسین رهبان