مدل‌های گرافی احتمالی

Probabilistic Graphical Models

شماره درس: ۴۰۷۶۸ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: – هم‌نیاز: –

اهداف درس

مدل‌های گرافی احتمالی، چارچوب محاسباتی کلی برای استنتاج و یادگیری در شرایط نایقینی (uncertainty) فراهم می‌آورند. در این مدل‌ها برای نمایش وابستگی‌های شرطی بین متغیرهای تصادفی از یک گراف استفاده شده و توزیع توام مجموعه‌ی متغیرهای تصادفی از این طریق مشخص می‌شود. در این درس، برای معرفی مدل‌های گرافی احتمالی سه جنبه‌ موردتوجه قرار می‌گیرد: بازنمایی در این مدل‌ها (شبکه‌های بیزین و میدان‌های تصادفی مارکوف)؛ یادگیری (پارامترها و ساختار) این مدل‌ها از روی داده‌ها؛ انجام استنتاج (با روش‌های دقیق و تقریبی) جهت استفاده از مدل‌های گرافی احتمالی برای تصمیم‌گیری در شرایط نایقینی. در شروع این درس لازم است دانشجویان آشنایی با مباحث آمار و احتمال و همچنین مقدمات یادگیری ماشین داشته باشند.

ریز مواد

  1. معرفی مدل‌های گرافی (برای نمایش دانش احتمالی)
    • مدل‌های گرافی جهت‌دار: شبکه‌ی بیزین (Bayesian Networks)
    • مدل‌های گرافی بدون جهت‌: میدان‌های تصادفی مارکوف (Markov Random Fields)
    • دیدگاهی واحد برای مدل‌های گرافی جهت‌دار و بدون‌جهت
  2. استنتاج دقیق در مدل‌های گرافی
    • الگوریتم حذف متغیر (Variable Elimination)
    • انتشار اعتقاد (Belief Propagation) یا انتقال پیام (Message Passing)
    • گراف‌های عامل (Factor Graphs) و الگوریتم جمع-ضرب (Product-Sum)
    • تخمین MAP: الگوریتم بیشینه-ضرب (Product-Max)
    • الگوریتم درخت اتصال (Junction Tree)
  3. یادگیری مدل‌های گرافی
    • یادگیری مدل‌های جهت‌دار کاملاً مشاهده شده
    • یادگیری مدل‌های بدون‌جهت کاملاً مشاهده شده
    • الگوریتم EM برای یادگیری مدل‌های گرافی نیمه مشاهده شده
    • یادگیری ساختار مدل‌های گرافی
  4. مدل‌های گرافی مشهور
    • خانواده نمایی (Exponential Family)
    • مدل‌های گرافی گاوسی
    • مدل‌های Ising (یا MRF دوبه‌دو)
    • میدان تصادفی شرطی (CRF)
    • مدل‌های زمانی و مدل‌های حالت-فضا
    • مدل مخفی مارکوف (HMM)
    • سامانه‌ خطی پویا (LDS)
    • فیلتر کالمن (Kalman Filter)
  5. استنتاج تقریبی رویکرد قطعی
    • انتشار اعتقاد حلقه‌ای (Loopy Belief Propagation)
    • استنتاج وردشی (Variational Inference)
    • تقریب میدان میانگین (Mean-Field)
    • تخمین چگالی مفروض
    • روش‌های وردشی ساختاردار (structured)
  6. استنتاج تقریبی رویکرد تصادفی
    • نمونه‌برداری رد (Rejection Sampling)
    • نمونه‌برداری اهمیت (Importance Sampling)
    • زنجیره‌ی مارکوف مونت کارلو (MCMC)
    • الگوریتم متروپلیس-هیستینگز (Metropolis Hastings)
    • نمونه‌برداری گیبس (Gibbs)

ارزیابی

مراجع

  1. D. Koller and N. Friedman. Probabilistic Graphical Models: Principles and Techniques. MIT Press, 2009.
  2. M. Wainwright and M.I. Jordan. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, vol. 1, pp. 1-305, 2008.
  3. M.I. Jordan. An Introduction to Probabilistic Graphical Models. In preparation.
  4. C.M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.
  5. K.P. Murphy. Machine Learning: A Probabilistic Perspective. MIT Press, 2012.