هدف از این درس فراگیری تکنیک​های استخراج اطلاعات از متون و توانایی به​کارگیری ابزارهای مناسب برای این منظور است. برای رسیدن به این هدف مواردی از جمله ساخت مخزن اسناد، آماده​سازی داده متنی، تحلیل زبانی، بازنمایی متون و شاخه​های مختلف تحلیل داده متنی نظیر مدل​سازی موضوعی، دسته​بندی و خوشه​بندی متون بررسی خواهند شد. همچنین تشخیص روش​های تحلیلی مناسب برای یک مساله تحلیل متن از جمله اهداف این درس است. به علاوه ابزارهای تحلیل متن (از جمله Natural Language Toolkit) ‌در حل مسایل مورد استفاده قرار خواهند گرفت.

1. جمع‌آوری داده
   • web scraping و استفاده از API
   • ساخت مخزن (corpus)
2. تمیزسازی و آماده کردن داده
   • جداسازی واحدها (Tokenization)
   • ریشه‌یابی (Stemming) و بن‌واژه‌سازی (Lemmatization)
   • پیدا کردن عبارات منظم (Regular Expressions)
   • نرمال‌سازی (Normalization)
   • تصحیح املایی (Spelling Correction)
3. شکل‌های زبانی کلمات
   • فرمهای مختلف “-nym” نظیر هم‌معنا (synonym)، هم‌شکل یا هم‌آوا (homonym)، جزء واژه (meronym) و …
   • محدود یا گسترده کردن از طریق زیرشمول (hyponyms) و فراشمول (hypernyms)
4. دیکشنری
   • هستان‌شناسی (ontology)
   • رده بندی (taxonomy)
5. کشف روابط Syntagmatic
   • آنتروپی، آنتروپی شرطی و اطلاعات متقابل (mutual information)
6. تحلیل زبانی
   • تجزیه (Parsing)
   • مضمون کلمه (word sense)
   • برچسب‌زنی ادات سخن (Part-of-Speech) یا POS
   • ابهام زدایی مضمون کلمه (Word Sense Disambiguation)
   • تشخیص موجودیت‌های نامدار (Named Entity Recognition)
7. بازنمایی متون
   • نمایش کیسه لغات (Bag of Words)، فرکانس واژه (Term Frequency)، فرکانس واژه-معکوس فرکانس سند (TF-IDF)
   • N-گرام
   • روشهای مبتنی بر دیکشنری
   • مدل​سازی زبانی (language modeling)
   • تعبیه کلمات (word embedding)
8. مدل‌سازی موضوعی (Topic Modeling)
   • روش​های احتمالاتی مدل‌سازی موضوعی
   • تحلیل معنایی نهان احتمالاتی (Probabilistic Latent Semantic Analysis)
   • تخصیص دیریکله نهان (Latent Dirichlet Allocation)
   • مدل​سازی موضوعی ساختاری (Structural Topic Modeling)
9. خوشه‌بندی متون
   • رویکرد احتمالاتی
   • روشهای مبتنی بر معیار شباهت
   • ارزیابی (evaluation)
10. دسته‌بندی متون
    • دسته‌بند احتمالاتی مولد (Generative)
    • دسته‌بند تمایزی (Discriminative)
    • روشهای دسته‌بندی
    • ارزیابی
11. تحلیل احساس (sentiment analysis) و نظرکاوی (opinion mining)
    • دسته‌بندی احساس
    • رگرسیون لاجستیک ترتیبی (ordinal)
12. تکنیک‌های بصری‌سازی (visualization) در تحلیل متون
13. حکومت داده (Governance)‌ و اخلاق (Ethics) در تحلیل متن

• امتحان میان ترم: 20%
• امتحان پایان ترم: 30%
• تمرین: 35%
• پروژه: 15%