در این درس دانشجویان با پردازش صدا و گفتار، فایل‌های چند رسانه‌ای، پردازش سیگنال چندوجهی، و بازیابی ویدئو در مقیاس بزرگ آشنا خواهند شد. دانشجویان جنبه‌های یک سیستم جستجوی چندرسانه‌ای پیشرفته را درک کرده و با الگوریتم های یادگیری ژرف برای بازیابی اطلاعات، تشخیص گفتار و پردازش صدا، پردازش تصویر و ویدئو آشنا شده و پیچیدگی های مدیریت حجم زیادی از داده های چندرسانه ای ناهمگن را تجربه خواهند کرد. آنها تجربه عمیق و عملی با برخی از الگوریتم‌های درگیر در پردازش (تشخیص و یا سنتز) و همجوشی چندوجهی خواهند داشت.

1. مقدمه و کاربردها؛ مشکلات چند رسانه‌ای
2. مقدمه ای بر روش تحقیق چندرسانه‌ای
3. معرفی ابزارهای مدل سازی و پردازش چند رسانه‌ای‌ها
4. ضبط / ذخیره سازی چند رسانه ای – صدا
5. پردازش چند رسانه ای – صدا
6. پردازش چند رسانه ای – الگوریتم های عمومی
7. ضبط / ذخیره سازی چند رسانه ای – متن
8. ضبط / ذخیره سازی چند رسانه ای – تصاویر
9. ضبط / ذخیره سازی چند رسانه ای – ویدئو
10. پردازش تصویر در مقیاس بزرگ
11. پردازش ویدئو در مقیاس بزرگ
12. همجوشی داده های چند رسانه‌ای
13. مقیاس پذیری چند رسانه‌ای
14. چند رسانه ای در حقوق بشر، امنیت عمومی، و اخلاق
15. یادگیری عمیق چند رسانه‌ای
16. یادگیری خود نظارتی چند رسانه‌ای
17. ترانسفورماتورهای بصری
18. سیستمهای سوالات-پاسخ های چند رسانه‌ای
19. جستجوی چند رسانه ای
20. استفاده از بینایی و زبان برای تولید تصویر
21. شبکه متخاصم تولیدکننده متن به تصویر و ویدیو

• تمرین‌ها: ۳ نمره
• آزمونک‌ها: ۲ نمره
• پروژه: ۷ نمره
• آزمون‌های میان‌ترم و پایانی: ۸