نظریه اطلاعات و کدینگ
Information Theory and Coding
| شماره درس: ۴۰۶۷۶ | تعداد واحد: ۳ |
| مقطع: کارشناسی ارشد | نوع درس: نظری |
| پیش‌نیاز: – | هم‌نیاز: – |
اهداف درس
هدف از این درس،آشنایی دانشجویان با نظریه و مفهوم اطلاعات و آنتروپی و همچنین آشنایی با انواع روشهای فشرده‌سازی اطلاعات و روشهای کدینگ اطلاعات است.
ریز مواد
- مفهوم اطلاعات و انتروپی
- آنتروپی
- اطلاعات متقابل
- نامساوی‌های اطلاعات متقابل
- AEP
- الگوریتم‌های فشرده‌سازی منبع
- نامساوی کرفت
- کد هافمن
- کد اریتمتیک
- کد لمپل -زیف
- کد کردن اعداد طبیعی
- فشرده‌سازی چند منبعی
- روش اسلپین و ولف
- آمار و تئوری اطلاعات
- روش نوعی
- فشرده‌سازی جهانی
- قضیه سانوف
- آزمون فرض
- ظرفیت کانال
- مفهوم ظرفیت کانال
- اثبات وجود کد برای نرخهای کمتر از ظرفیت
- اثبات عدم وجود کد برای نرخهای بالاتر از ظرفیت
- کدینگ‌های خطی
- کد همینگ
- کد رید و سولمون
- کد کانولوشنال
- کد LDPC
- تئوری اطلاعات و یادگیری ماشین
ارزیابی
- تمرین: ۲۰ درصد
- میان‌ترم: ۳۰ درصد
- پایان‌ترم: ۵۰ درصد
مراجع
- MacKay, David JC. Information theory, inference, and learning algorithms. Vol. 7. Cambridge: Cambridge university press, 2003.
- Cover, Thomas M., and Joy A. Thomas. Elements of information theory. John Wiley & Sons, 2012.