Modul 2 — Modul 2 — Dari Teks Mentah ke Data Bersih: Membangun Pipeline Pra-pemrosesan Teks Bahasa Indonesia

• Menerapkan urutan pra-pemrosesan lengkap — normalisasi bentuk, penanganan entitas non-kata, normalisasi leksikal, tokenisasi, penanganan stopword, dan pemotongan imbuhan — pada korpus berbahasa Indonesia yang memuat bahasa gaul, singkatan media sosial, dan campur kode Indonesia–Inggris.
• Membedakan hasil dan risiko stemming dibanding lemmatization pada kata berimbuhan bahasa Indonesia seperti 'pemberlakuan', 'pengaduan', dan 'mempertanggungjawabkan', termasuk mengenali gejala overstemming dan understemming beserta penyebab morfologisnya.
• Menganalisis dampak tiap langkah pembersihan terhadap informasi yang tersisa, khususnya langkah yang menghapus sinyal penting seperti negasi, kapitalisasi, tanda baca ekspresif, dan emoji.
• Mengevaluasi kelayakan sebuah pipeline terhadap tugas hilirnya dan merumuskan keputusan mempertahankan, mengubah urutan, atau membuang sebuah langkah beserta alasan yang dapat diuji.