یادگیری ماشین

Machine Learning

شماره درس: ۴۰۷۱۷ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: هوش مصنوعی، جبر خطی هم‌نیاز: –

اهداف درس

در این درس مفاهیم یادگیری ماشین مطرح شده و آشنایی با شاخه‌های مختلف این زمینه صورت گرفته و جنبه‌های مهم عملی و نظری آن معرفی خواهد شد. در شاخه‌های مختلف تکنیک‌ها و الگوریتم‌های مهم بحث می‌شود. در حوزه‌ی یادگیری با ناظر، مسائل رگرسیون و دسته‌بندی مورد بررسی قرار خواهند گرفت و روش‌های حل این مسائل و ارزیابی مدل‌ها معرفی خواهد شد. برای مساله دسته‌بندی انواع دیدگاه‌ها و الگوریتم‌های مربوطه مطرح می‌شود. در بخش یادگیری بدون ناظر در مورد تخمین چگالی، کاهش ابعاد بدون‌ناظر و خوشه‌بندی صحبت خواهد شد. در نهایت آشنایی مختصری با شاخه‌ی یادگیری تقویتی صورت خواهد گرفت.

ریز مواد

  1. مقدمه‌ای بر یادگیری ماشین و مرور مباحث احتمال و جبرخطی (۱ جلسه)
  2. روش‌های تخمین ML و MAP (۱ جلسه)
  3. رگرسیون (۳ جلسه)
    • رگرسیون خطی و غیرخطی
    • بیش‌برازش (overfitting)
    • تجزیه‌ی خطا به بایاس (bias)، واریانس (variance) و نویز
    • منظم‌سازی (regularization)
    • رگرسیون آماری (statistical): ارتباط توابع هدف مبتنی بر SSE با تخمین‌های احتمالی ML و MAP برای مساله‌ی رگرسیون
  4. ارزیابی (evaluation) و تنظیم کردن مدل‌ها (۱ تا ۲ جلسه)
    • اعتبارسنجی (validation)
    • اعتبارسنجی متقابل (Cross-validation)
    • انتخاب مدل (model selection)
    • انتخاب ویژگی (feature selection)
  5. دسته‌بندی (classification)
    • دسته‌بندهای احتمالی (probabilistic classifiers) (سه جلسه)
    • تئوری تصمیم (decision theory) و دسته‌بند بهینه بیز (Bayes optimal classifier)
    • دسته‌بندی احتمالی جداساز (discriminative) و مولد (generative)
    • Logistic regression دو دسته‌ای و چند دسته‌ای (multi-class) و بیز ساده (Naïve Bayes)
  6. دسته‌بندی با استفاده از توابع جداسازی (discriminant functions) (شش جلسه)
    • پرسپترون (Perceptron)
    • جداساز خطی فیشر (Fisher)
    • ماشین بردار پشتیبان (SVM) و هسته (kernel)
    • شبکه‌های عصبی (neural networks)
  7. درخت تصمیم (Decision Tree) (یک جلسه)
    • آنتروپی و بهره اطلاعاتی (Information Gain)
    • الگوریتم ID-3
    • توقف رشد و هرس درخت تصمیم
  8. روش‌های یادگیری مبتنی بر نمونه (instance-based) (دو جلسه)
    • تخمین چگالی غیر پارامتری (Non-parametric density estimation)
    • دسته‌بند k-نزدیکترین همسایه (k-Nearest Neighbors)
    • رگرسیون خطی وزن‌دار محلی (Locally Weighted Linear Regression)
  9. تئوری یادگیری محاسباتی (۲ جلسه)
    • PAC-learning
    • VC dimension
    • کمینه‌سازی ریسک ساختاری (structural risk minimization)
  10. یادگیری جمعی (ensemble learning) (دو جلسه)
    • Boosting و Bagging
    • AdaBoost
  11. کاهش ابعاد (dimensionality reduction) بدون ناظر (۲ جلسه)
    • تحلیل مولفه اصلی (PCA)
    • تحلیل مولفه مستقل (ICA)
  12. خوشه‌بندی (clustering) (سه جلسه)
    • روش‌های افرازی (EM+GMM، k-means: (partitional
    • روش‌های سلسله مراتبی (hierarchical)
  13. یادگیری تقویتی (reinforcement learning) (دو جلسه)
    • فرایند تصمیم مارکوف (MDP)
    • روش‌های یادگیری مبتنی بر مدل (model-based)
    • روش تکرار مقدار (value iteration) و تکرار سیاست (policy iteration)
    • روش‌های یادگیری بی مدل (model-free)
    • الگوریتم‌های SARSA، Q-learning، تفاضل زمانی (Temporal Difference)
  14. مباحث پیشرفته در یادگیری ماشین

ارزیابی

  • تمرین: ۲۰٪
  • میان‌ترم: ۲۵٪
  • پایان‌ترم: ۳۵٪
  • امتحان‌های کوتاه: ۱۰٪
  • پروژه: ۱۰٪

مراجع

  1. C. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
  2. T. Mitchell. Machine Learning. MIT Press, 1998.
  3. K. Murphy. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.
  4. T. Hastie, R. Tibshirani, and J. Friedman. The elements of statistical learning. 2nd Edition, 2008.