Modul 6 — Modul 6 — Konteks dan Transformer: Model Bahasa Pralatih

• Menganalisis cara mekanisme perhatian (attention) menghasilkan representasi kata yang bergantung konteks, dan merumuskan mengapa mekanisme itu mengatasi keterbatasan model urutan berbasis rekuren.
• Menerapkan penyetelan (fine-tuning) model bahasa pralatih berbahasa Indonesia pada tugas klasifikasi teks yang sama dengan Modul 4, mulai dari tokenisasi sampai evaluasi.
• Mengevaluasi imbal balik antara biaya komputasi, jumlah data berlabel, dan peningkatan kinerja terhadap model klasik, lalu memutuskan pendekatan mana yang layak dipakai pada satu kasus penerapan konkret beserta alasannya.