پردازش سیگنال‌های ویدئویی

هدف از این درس، آشنایی دانش‌جویان با مفاهیم پردازش ویدئوی رقمی و پیش‌نیازهای آن است.به صورت خلاصه اهداف زیر در این درس پیگیری می‌شود: تشکیل و نمایش ویدئو، تحلیل سری فوریه سیگنال‌های ویدیوئی، خواص سامانه بینائی چشم انسان، نمونه‌برداری و تغییر نرخ سیگنال‌های ویدیوئی، مدل‌سازی ویدیو، تخمین حرکت، ناحیه‌بندی ویدئو، ردیابی حرکت، پردازش دنباله‌های دودیدی و چنددیدی، سامانه‌های استاندارد ویدیوئی، تنظیم خطا در ارتباطات ویدیوئی، جاری‌سازی اطلاعات ویدیوئی برروی اینترنت و شبکه‌های بی‌سیم، یادگیری ژرف در پردازش ویدئو.

1. مقدمه
   • سیلابس
   • انگیزه‌ها
   • سرفصل‌های اصلی درس
2. تشکیل، درک، و نمایش ویدئو
   • درک رنگ و خصوصیات آن
   • تهیه و نمایش ویدئو
   • جاروب ویدئوی آنالوگ
   • سامانه ویدئوی رنگی آنالوگ
   • ویدئوی رقمی
3. تحلیل سری فوریه سیگنال‌های ویدیوئی
   • سیگنال‌ها و سیستم‌های چندبعدی در فضای پیوسته
   • سیگنال‌ها و سیستم‌های چندبعدی در فضای گسسته
   • مشخصات سیگنال‌های ویدیوئی در میدان فرکانس
   • پاسخ فرکانسی سامانه بینائی انسان
4. نمونه‌برداری سیگنال‌های ویدیوئی
   • تئوری شبکه
   • نمونه‌برداری برروی شبکه
   • نمونه‌برداری سیگنال‌های ویدیوئی
   • عملیات پالایش در قطعات دوربین و نمایش
5. تغییر نرخ نمونه‌برداری سیگنال‌های ویدیوئی
   • تبدیل سیگنال‌های نمونه‌برداری شده روی شبکه‌های متقاوت
   • تبدیل نرخ نمونه‌برداری سیگنا‌ل‌های ویدیوئی
6. مدل‌سازی سیگنال‌های ویدیوئی
   • مدل دوربین
   • مدل روشنائی
   • مدل شیء
   • مدل صحنه
   • مدل‌های حرکت دوبعدی
7. ‌ تخمین حرکت دوبعدی
8. شار نوری
9. روش‌شناسی کلی
10. تخمین حرکت پیکسل‌گرا
11. تطابق بلوکی
12. تطابق بلوکی انعطاف‌پذیر
13. تخمین حرکت مش‌گرا
14. تخمین حرکت کلی
15. تخمین حرکت ناحیه‌گرا
16. تخمین حرکت چنددقتی
17. ناحیه‌بندی ویدئو
    • آشکارسازی تغییر صحنه
    • آشکارسازی تغییر زمانی-مکانی
    • ناحیه‌بندی حرکت
    • تحمین و ناحیه‌بندی هم‌زمان حرکت
    • ناحیه‌بندی معنائی شیء
18. ردیابی حرکت
    • ردیابی شیء صلب
    • ردیابی شیء بندبند
    • فیلتر کالمن
    • فیلتر پاره‌ای
19. روش‌های بنیادین فشرده‌سازی ویدیوئی
    • بررسی اجمالی سامانه‌های ویدیوئی
    • تئوری احتمالات و اطلاعات
    • تئوری اطلاعات فشرده‌سازی منشاء
    • فشرده‌سازی دودوئی
    • چندی‌سازی عددی
    • چندی‌سازی برداری
20. فشرده‌سازی ویدیوئی موج‌گرا
    • فشرده‌سازی فضای تبدیل بلوک‌گرا
    • فشرده‌سازی پیش‌بینانه
    • فشرده‌سازی با استفاده از پیش‌بینی زمانی و فشرده‌سازی فضای تبدیل
21. فشرده‌سازی ویدیوئی محتوائی
    • فشرده‌سازی ویدیوئی ناحیه‌گرا
    • فشرده‌سازی ویدیوئی شیء‌گرا
    • فشرده‌سازی ویدیوئی دانش‌گرا
    • فشرده‌سازی ویدیوئی معنائی
    • سامانه‌های ویدیوئی لایه‌ای
22. فشرده‌سازی ویدیوئی مقیاس‌پذیر
    • حالت‌های بنیانی مقیاس‌پذیری
    • مقیاس‌پذیری شیء‌گرا
    • مقیاس‌پذیری در فضای موجک
23. پردازش دنباله‌های دودیدی و چنددیدی
    • درک عمق
    • قاعده تصویر دودیدی
    • تخمین اختلاف
    • دید ساختگی میانی
    • فشرده‌سازی دنباله دودیدی
24. استانداردهای ویدیو
    • متعارف‌سازی
    • ویدئوی تلفنی با H.261 و H.263
    • استانداردهای سامانه‌های ارتباطات دیداری
    • سامانه‌های ویدیوئی مشتری‌مدار با MPEG-1
    • تلویزیون رقمی با MPEG-2
    • فشرده‌سازی اشیاء دیداری-شنیداری با MPEG-4
    • فشرده‌سازی پیشرفته ویدیوئی با H.264
    • نحو جریان بیت ویدیوئی
    • توصیف محتوای چندرسانه‌ای با MPEG-7
    • چارچوب چندرسانه‌ای برای توزیع و مصرف با MPEG-21
25. تنظیم خطا در ارتباطات ویدیوئی
    • انگیزه‌ها و بررسی اجمالی رویکردها
    • کاربردهای ویدیوئی و شبکه‌های ارتباطاتی نوعی
    • فشرده‌سازی خطا در سطح حمل
    • فشرده‌سازی مقاوم در برابر خطا
    • گیرنده دارای اختقای خطا
    • تنظیم خطا با فرستنده-گیرنده متعامل
    • افزار مقاومت در برابر خطا در H.263 و MPEG-4
26. جاری‌سازی اطلاعات ویدیوئی برروی اینترنت و شبکه‌های بی‌سیم
    • ساختار سامانه‌های جاری‌سازی ویدئو
    • تنظیم کیفی لایه کاربرد برای جاری‌سازی ویدئو
    • خدمت‌رسانی توزیع‌شده پیوسته رسانه
    • خدمت‌رسانی جاری‌سازی
    • هم‌زمان‌سازی رسانه
    • قواعد جاری‌سازی ویدئو
    • جاری‌سازی ویدئو برروی شبکه‌های بی‌سیم
27. یادگیری ژرف در پردازش ویدیو
    • شبکه‌های عصبی و پس‌انتشار
    • معماری‌های CNN: ایده‌های جدید، مزایا، و معابب
    • شبکه‌های عصبی ژرف مکانی-زمانی
    • آموزش شبکه‌های عصبی ژرف با جریان تنسور

• امتحان پایان‌ترم ۴۰ درصد
• امتحان میان‌ترم ۱۵ درصد
• کوئیز ۱۰ درصد
• تکالیف ۱۵ درصد
• پروژه نهایی ۱۵ درصد
• گزارش پروژه ۲/۵ درصد
• ارایه پروژه ۲/۵ درصد