نظریه یادگیری ماشین

Machine Learning Theory

شماره درس: ۴۰۷۱۸ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: – هم‌نیاز: –

اهداف درس

هدف از این درس، آشنایی دانش‌جویان با مفاهیم نظری الگوریتم‌های یادگیری ماشین و تحلیل الگوریتم‌ها است. تاکید این درس بیشتر روی روش‌های آماری محاسباتی متمرکز‌ می‌شود. تلاش‌ می‌شود در درس به پرسش‌های زیر پاسخ داده شود. آیا‌ می‌توان الگوریتم یادگیری را طراحی نمود که کران کارایی آن قابل اثبات باشد؟ چگونه‌ می‌توان الگوریتم یادگیری طراحی کرد که خواص ویژه‌ای داشته باشد.

ریز مواد

  1. مقدمه و مدل رسمی یادگیری (۱ جلسه)
  2. مدل‌های یادگیری و محاسبه کران خطا (۴ جلسه)
    • یادگیری در مدل سازگاری
    • یادگیری در مدل احتمالا تقریبا درست و یادگیری به کمک همگرایی یکنواخت
    • یادگیری در مدل احتمالا تقریبا درست بدون پیش فرض
    • یادگیرهای عمومی
    • تحلیل الگوریتم‌های کمینه سازی خطای تجربی
  3. معیار‌های محاسبه غنای فضای فرضیه و محاسبه کران خطا (۲ جلسه)
    • تابع رشد، بعد VC و اعداد پوششی
    • پیچیدگی راداماخر
  4. انتخاب مدل (۲ جلسه)
  5. یادگیری نایکنواخت و تحلیل الگوریتم‌های کمینه سازی خطای ساختاری مانند توصیف با کمترین طول (۲ جلسه)
  6. روش‌های منظم سازی و پایداری الگوریتم‌های یادگیری (۱ جلسه)
  7. پیچیدگی محاسباتی الگوریتم‌های یادگیری (۲ جلسه)
  8. الگوریتم‌های یادگیری برخط (۴ جلسه)
  9. الگوریتم‌های یادگیری رتبه بندی (۲ جلسه)
  10. الگوریتم‌های یادگیری فعال (۱ جلسه)
  11. نظریه PAC-Bayesian (یک جلسه)
  12. مبانی نظری خوشه بندی (۱ جلسه)
  13. مسایل یادگیری محدب (۲ جلسه)
  14. تحلیل الگوریتم‌های یادگیری (۷ جلسه)
    • تحلیل الگوریتم ماشین بردار پشتیبان
    • تحلیل الگوریتم‌های مبتنی بر هسته
    • تحلیل الگوریتم‌های بوستینگ
    • تحلیل الگوریتم‌های رگرسیون

ارزیابی

مراجع

  1. M. Mohri, A. Rostamizadeh, and A. Talwalkar. Foundations of Machine Learning. second edition, MIT Press, 2018.
  2. S. Shalev-Shwartz and S. Ben-David. Understanding Machine Learning : From Theory to Algorithms. Cambridge University Press, 2014.