یادگیری ماشین

در این درس مفاهیم یادگیری ماشین مطرح شده و آشنایی با شاخه‌های مختلف این زمینه صورت گرفته و جنبه‌های مهم عملی و نظری آن معرفی خواهد شد. در شاخه‌های مختلف تکنیک‌ها و الگوریتم‌های مهم بحث می‌شود. در حوزه‌ی یادگیری با ناظر، مسائل رگرسیون و دسته‌بندی مورد بررسی قرار خواهند گرفت و روش‌های حل این مسائل و ارزیابی مدل‌ها معرفی خواهد شد. برای مساله دسته‌بندی انواع دیدگاه‌ها و الگوریتم‌های مربوطه مطرح می‌شود. در بخش یادگیری بدون ناظر در مورد تخمین چگالی، کاهش ابعاد بدون‌ناظر و خوشه‌بندی صحبت خواهد شد. در نهایت آشنایی مختصری با شاخه‌ی یادگیری تقویتی صورت خواهد گرفت.

1. مقدمه‌ای بر یادگیری ماشین و مرور مباحث احتمال و جبرخطی (۱ جلسه)
2. روش‌های تخمین ML و MAP (۱ جلسه)
3. رگرسیون (۳ جلسه)
   • رگرسیون خطی و غیرخطی
   • بیش‌برازش (overfitting)
   • تجزیه‌ی خطا به بایاس (bias)، واریانس (variance) و نویز
   • منظم‌سازی (regularization)
   • رگرسیون آماری (statistical): ارتباط توابع هدف مبتنی بر SSE با تخمین‌های احتمالی ML و MAP برای مساله‌ی رگرسیون
4. ارزیابی (evaluation) و تنظیم کردن مدل‌ها (۱ تا ۲ جلسه)
   • اعتبارسنجی (validation)
   • اعتبارسنجی متقابل (Cross-validation)
   • انتخاب مدل (model selection)
   • انتخاب ویژگی (feature selection)
5. دسته‌بندی (classification)
   • دسته‌بندهای احتمالی (probabilistic classifiers) (سه جلسه)
   • تئوری تصمیم (decision theory) و دسته‌بند بهینه بیز (Bayes optimal classifier)
   • دسته‌بندی احتمالی جداساز (discriminative) و مولد (generative)
   • Logistic regression دو دسته‌ای و چند دسته‌ای (multi-class) و بیز ساده (Naïve Bayes)
6. دسته‌بندی با استفاده از توابع جداسازی (discriminant functions) (شش جلسه)
   • پرسپترون (Perceptron)
   • جداساز خطی فیشر (Fisher)
   • ماشین بردار پشتیبان (SVM) و هسته (kernel)
   • شبکه‌های عصبی (neural networks)
7. درخت تصمیم (Decision Tree) (یک جلسه)
   • آنتروپی و بهره اطلاعاتی (Information Gain)
   • الگوریتم ID-3
   • توقف رشد و هرس درخت تصمیم
8. روش‌های یادگیری مبتنی بر نمونه (instance-based) (دو جلسه)
   • تخمین چگالی غیر پارامتری (Non-parametric density estimation)
   • دسته‌بند k-نزدیکترین همسایه (k-Nearest Neighbors)
   • رگرسیون خطی وزن‌دار محلی (Locally Weighted Linear Regression)
9. تئوری یادگیری محاسباتی (۲ جلسه)
   • PAC-learning
   • VC dimension
   • کمینه‌سازی ریسک ساختاری (structural risk minimization)
10. یادگیری جمعی (ensemble learning) (دو جلسه)
    • Boosting و Bagging
    • AdaBoost
11. کاهش ابعاد (dimensionality reduction) بدون ناظر (۲ جلسه)
    • تحلیل مولفه اصلی (PCA)
    • تحلیل مولفه مستقل (ICA)
12. خوشه‌بندی (clustering) (سه جلسه)
    • روش‌های افرازی (EM+GMM، k-means: (partitional
    • روش‌های سلسله مراتبی (hierarchical)
13. یادگیری تقویتی (reinforcement learning) (دو جلسه)
    • فرایند تصمیم مارکوف (MDP)
    • روش‌های یادگیری مبتنی بر مدل (model-based)
    • روش تکرار مقدار (value iteration) و تکرار سیاست (policy iteration)
    • روش‌های یادگیری بی مدل (model-free)
    • الگوریتم‌های SARSA، Q-learning، تفاضل زمانی (Temporal Difference)
14. مباحث پیشرفته در یادگیری ماشین

• تمرین: ۲۰٪
• میان‌ترم: ۲۵٪
• پایان‌ترم: ۳۵٪
• امتحان‌های کوتاه: ۱۰٪
• پروژه: ۱۰٪