نظریه اطلاعات و کدینگ

Information Theory and Coding

شماره درس: ۴۰۶۷۶ تعداد واحد: ۳
مقطع: کارشناسی ارشد نوع درس: نظری
پیش‌نیاز: – هم‌نیاز: –

اهداف درس

هدف از این درس،‌آشنایی دانشجویان با نظریه و مفهوم اطلاعات و آنتروپی و همچنین آشنایی با انواع روشهای فشرده‌سازی اطلاعات و روشهای کدینگ اطلاعات است.

ریز مواد

  1. مفهوم اطلاعات و انتروپی
    • آنتروپی
    • اطلاعات متقابل
    • نامساوی‌های اطلاعات متقابل
    • AEP
  2. الگوریتم‌های فشرده‌سازی منبع
    • نامساوی کرفت
    • کد هافمن
    • کد اریتمتیک
    • کد لمپل -زیف
    • کد کردن اعداد طبیعی
  3. فشرده‌سازی چند منبعی
    • روش اسلپین و ولف
  4. آمار و تئوری اطلاعات
    • روش نوعی
    • فشرده‌سازی جهانی
    • قضیه سانوف
    • آزمون فرض
  5. ظرفیت کانال
    • مفهوم ظرفیت کانال
    • اثبات وجود کد برای نرخهای کمتر از ظرفیت
    • اثبات عدم وجود کد برای نرخهای بالاتر از ظرفیت
  6. کدینگ‌های خطی
    • کد همینگ
    • کد رید و سولمون
    • کد کانولوشنال
    • کد LDPC
  7. تئوری اطلاعات و یادگیری ماشین

ارزیابی

  1. تمرین: ۲۰ درصد
  2. میان‌ترم: ۳۰ درصد
  3. پایان‌ترم: ۵۰ درصد

مراجع

  1. MacKay, David JC. Information theory, inference, and learning algorithms. Vol. 7. Cambridge: Cambridge university press, 2003.
  2. Cover, Thomas M., and Joy A. Thomas. Elements of information theory. John Wiley & Sons, 2012.