Modul 3 — Modul 3 — Mengubah Kata Menjadi Angka: Representasi Berbasis Hitungan

• Menerapkan pembobotan TF-IDF untuk mengubah kumpulan dokumen bersih hasil Modul 2 menjadi matriks fitur yang siap dimodelkan, dengan pemisahan fit pada data latih dan transform pada data uji.
• Menganalisis pengaruh ukuran n-gram, pemangkasan kosakata, dan ambang frekuensi minimum/maksimum terhadap jumlah dimensi dan kepadatan matriks, serta menjelaskan konsekuensinya bagi model.
• Membedakan kemiripan leksikal dari kemiripan makna dengan menghitung kesamaan kosinus antar dokumen dan menunjukkan dua kasus nyata di mana ukuran itu menyesatkan.
• Mengevaluasi kelayakan sebuah konfigurasi vektorisasi dengan memeriksa dimensi, kepadatan, penanganan kata di luar kosakata, dan risiko kebocoran informasi antara data latih dan data uji.