Modul 1 — Bahasa sebagai Data: Peta Dasar NLP

Seribu Pesan Masuk, Siapa yang Membacanya?

Bayangkan kamu baru ditempatkan di unit layanan pengaduan sebuah pemerintah daerah. Kanalnya ada tiga: nomor WhatsApp resmi, kolom komentar media sosial, dan aplikasi layanan warga. Semuanya bermuara ke satu kotak masuk. Pagi hari, kotak itu sudah penuh. Isinya campur aduk: laporan lampu jalan mati, pertanyaan jadwal pengambilan sampah, keluhan pajak, ucapan terima kasih, promosi pinjaman online, dan satu pesan huruf besar semua tentang pohon tumbang yang menutup jalan raya.

Tugas kamu sederhana kedengarannya: baca satu per satu, tentukan ini urusan dinas mana, lalu teruskan. Yang mendesak didahulukan. Kenyataannya tidak sederhana.

Tiga hal yang selalu terjadi

Pertama, jumlahnya tidak sebanding dengan jumlah pembaca. Pesan datang dua puluh empat jam, petugas bekerja jam kerja. Antrean Senin pagi selalu lebih panjang daripada yang bisa dihabiskan Senin pagi.

Kedua, hasil sortirnya tidak konsisten. Pesan yang menyebut sampah menumpuk di saluran air bisa masuk ke dinas kebersihan menurut petugas A, dan ke dinas pekerjaan umum menurut petugas B. Keduanya punya alasan. Tidak ada yang salah secara pribadi — yang belum ada adalah aturan tertulis tentang batas antara dua kategori itu.

Ketiga, yang gawat tenggelam di antara yang biasa. Pesan kabel listrik menjuntai rendah di gang sempit punya bentuk yang mirip dengan pesan lampu teras mati: sama-sama pendek, sama-sama menyebut listrik. Bedanya, satu bisa menunggu seminggu, satu tidak.

Di titik ini orang biasanya melompat ke pertanyaan yang salah: pakai model apa? Pertanyaan yang benar datang lebih dulu, dan bunyinya begini: keluaran seperti apa yang sebenarnya saya butuhkan, dan bagaimana saya tahu keluaran itu cukup baik?

Kenapa mesin kesulitan

Bahasa manusia dirancang untuk manusia. Penulis pesan berasumsi pembacanya tahu banyak hal yang tidak ia tuliskan: bahwa "depan pasar" itu pasar yang mana, bahwa "udah seminggu" berarti laporan ini pengulangan, bahwa "PBB" di kanal layanan daerah kemungkinan besar soal pajak bumi dan bangunan, bukan organisasi internasional. Semua asumsi itu ada di kepala, tidak ada di teks.

Mesin tidak punya kepala itu. Yang diterima mesin adalah deretan karakter. Dari deretan karakter itulah ia harus menebak maksud. Itu sebabnya sistem yang tampak pintar bisa keliru pada hal yang bagi kamu terlihat jelas — dan itu bukan kegagalan acak, melainkan kegagalan yang polanya bisa diramalkan. Modul ini akan mengajarkan cara meramalkannya.

Apa yang akan kamu kerjakan di modul ini

Modul pertama ini bukan modul pengodean. Ini modul kerangka berpikir, dan kerangkanya dipakai ulang di seluruh kelas. Ada tiga bagian.

1. Peta jenis tugas. Ada empat bentuk pekerjaan yang berulang di hampir semua proyek NLP: mengelompokkan, mengambil potongan, mencari, dan mengarang teks baru. Kamu akan belajar membedakannya bukan dari nama tekniknya, melainkan dari bentuk masukan dan keluarannya. Pembeda ini murah, cepat, dan jarang salah.

2. Sumber kesalahan khas bahasa Indonesia. Kata berimbuhan yang berubah arti dan berubah pelaku, kata yang berbunyi sama tapi bermakna lain, singkatan yang hanya dipahami di kanal tertentu, dan campur kode antara bahasa Indonesia, bahasa daerah, dan bahasa Inggris. Ini bukan daftar keunikan yang menarik dibicarakan; ini daftar tempat sistem kamu akan meleset.

3. Perumusan masalah menjadi spesifikasi tugas. Kamu akan mengerjakan kasus kotak masuk aduan tadi sampai selesai: menentukan jenis tugasnya, menulis definisi label yang bisa diperdebatkan lalu diperbaiki, dan menetapkan ukuran keberhasilan yang jujur — termasuk mengakui bahwa satu angka tunggal hampir selalu menyesatkan.

Setelah modul ini kamu belum bisa membangun sistemnya. Yang kamu bisa adalah hal yang lebih menentukan: menyatakan dengan tepat sistem apa yang perlu dibangun, dan bagaimana kita nanti sepakat bahwa ia bekerja. Banyak proyek NLP gagal bukan karena modelnya lemah, melainkan karena pertanyaan ini tidak pernah dijawab di awal.

Satu catatan sebelum lanjut: seluruh data pesan yang dipakai di modul ini adalah contoh rekaan yang disusun agar mirip pesan nyata. Tidak ada data warga sungguhan di dalamnya.

Bentuk Masukan dan Keluaran Menentukan Jenis Tugasnya

Daftar istilah di NLP panjang dan terus bertambah. Untungnya, di balik semua nama itu ada sedikit sekali bentuk pekerjaan yang benar-benar berbeda. Cara termurah untuk mengenalinya bukan dengan menghafal nama teknik, melainkan dengan menanyakan dua hal: apa yang masuk, dan apa yang keluar.

Empat bentuk dasar

Klasifikasi menjawab pertanyaan "ini termasuk yang mana?". Merutekan aduan ke dinas, menandai pesan sebagai spam atau bukan, menilai sebuah ulasan bernada positif atau negatif — semuanya klasifikasi. Ciri khasnya: daftar jawaban sudah ditetapkan sebelum data masuk. Kalau daftarnya boleh bertambah sesuka hati saat sistem berjalan, itu bukan lagi klasifikasi dalam pengertian ini.

Ekstraksi menjawab "bagian mana dari teks ini yang saya butuhkan?". Mengambil nama jalan dan kelurahan dari aduan, mengambil nomor dan tanggal dari surat, mengambil nama obat dari catatan medis. Ciri khasnya: keluaran bisa ditunjuk letaknya di dalam teks masukan. Kalau kamu tidak bisa menandai posisi jawabannya dengan stabilo di teks aslinya, kemungkinan besar itu bukan ekstraksi.

Pencarian menjawab "dokumen mana yang paling relevan dengan kebutuhan ini?". Masukannya bukan satu teks, melainkan sepasang: kueri pengguna dan kumpulan dokumen yang sudah ada. Keluarannya bukan jawaban, melainkan urutan. Sistem yang mencari peraturan daerah terkait sebuah keluhan adalah sistem pencarian, sekalipun antarmukanya berupa kotak percakapan.

Pembangkitan menjawab "tolong tuliskan sesuatu". Merangkum sepuluh aduan sejenis menjadi satu paragraf, menyusun draf balasan, menerjemahkan. Ciri khasnya: keluarannya kalimat baru yang tidak bisa ditunjuk di masukan, dan hampir selalu ada lebih dari satu keluaran yang sama-sama benar.

Uji cepat empat pertanyaan

Urutkan dari yang paling ketat:

1. Apakah jawabannya bisa ditunjuk letaknya di dalam teks masukan? → ekstraksi
2. Apakah jawabannya dipilih dari daftar tetap yang sudah disepakati? → klasifikasi
3. Apakah yang diminta adalah urutan dari kumpulan yang sudah ada? → pencarian
4. Apakah jawabannya kalimat baru yang harus disusun sendiri? → pembangkitan

Kalau lebih dari satu jawaban terasa cocok, biasanya artinya kebutuhanmu memang gabungan beberapa tugas — bukan bahwa uji ini gagal.

Kenapa pembedaan ini penting secara praktis

Pembedaan ini bukan urusan tata nama. Ia menentukan tiga hal yang mahal.

Pertama, bentuk data latihnya berbeda. Klasifikasi butuh pasangan teks–label; pelabelnya cukup memilih dari daftar. Ekstraksi butuh penandaan posisi di dalam teks; pelabelnya harus menyorot rentang kata, dan perselisihan soal batas rentang ("apakah kata Jalan ikut disorot?") harus diatur di pedoman. Pencarian butuh penilaian relevansi antara kueri dan dokumen — pekerjaan yang jauh lebih melelahkan karena satu kueri berpasangan dengan banyak dokumen. Pembangkitan butuh contoh keluaran yang dianggap baik, dan menyusunnya mahal karena harus ditulis, bukan dipilih.

Kedua, cara evaluasinya berbeda. Klasifikasi dinilai dengan membandingkan label tebakan dan label acuan. Ekstraksi dinilai per potongan: berapa banyak potongan benar yang berhasil ditemukan, dan berapa banyak potongan yang ditemukan ternyata salah — termasuk keputusan apakah rentang yang meleset satu kata dihitung benar atau salah. Pencarian dinilai dari posisi: apakah dokumen yang tepat muncul di urutan atas, bukan sekadar ada di daftar. Pembangkitan paling sulit, karena keluaran yang berbeda kata bisa sama benarnya; penilaiannya biasanya butuh rubrik dan pembaca manusia.

Ketiga, ongkos salah pilih itu nyata. Godaan terbesar hari ini adalah menjadikan segalanya tugas pembangkitan, karena satu perintah bisa mengeluarkan apa saja. Masalahnya muncul saat kamu harus melapor: kalau sistem penyortir aduan mengeluarkan kalimat bebas alih-alih label dari daftar, kamu tidak bisa menghitung berapa persen rutenya benar tanpa lebih dulu memetakan kalimat itu kembali ke daftar label. Kamu menambah satu lapis pekerjaan sekaligus satu lapis kesalahan baru. Aturan praktisnya: kalau keluaran yang kamu butuhkan berbatas, jangan memilih bentuk tugas yang keluarannya tak berbatas.

Satu produk sering berisi beberapa tugas

Sistem penyortir aduan yang utuh biasanya berisi rangkaian: klasifikasi untuk menentukan dinas tujuan, klasifikasi kedua untuk menandai kegawatan, ekstraksi untuk mengambil lokasi, pencarian untuk mengecek apakah aduan serupa sudah pernah masuk, dan barangkali pembangkitan untuk menyusun draf balasan. Memisahkannya sejak awal membuat setiap bagian bisa diuji, diperbaiki, dan diganti sendiri-sendiri — dan membuat kamu tahu persis bagian mana yang sedang bermasalah ketika keluhan datang.

Di Mana Bahasa Indonesia Membuat Mesin Meleset

Semua bahasa ambigu. Yang berbeda adalah letak ambiguitasnya. Kalau kamu tahu letaknya, kamu bisa menyiapkan uji sejak awal alih-alih menemukan masalahnya dari keluhan pengguna. Unit ini membahas empat sumber yang paling sering muncul di teks berbahasa Indonesia sehari-hari, khususnya teks kanal layanan.

1. Kata berimbuhan

Bahasa Indonesia membangun makna dengan imbuhan: awalan, akhiran, sisipan, dan gabungannya. Satu akar kata bisa melahirkan belasan bentuk. Ini menimbulkan dua masalah berbeda.

Masalah pertama: pemenggalan yang salah. Program pemotong imbuhan yang bekerja hanya berdasarkan pola huruf akan memperlakukan ber- di berita sama seperti ber- di berjalan, lalu menghasilkan potongan yang tidak berarti apa-apa. Hal serupa terjadi pada beruang: apakah itu ber- + uang, atau nama hewan? Tanpa konteks, keduanya sah secara bentuk. Akibatnya dua pesan yang isinya berbeda jauh bisa berakhir terlihat mirip di mata sistem.

Masalah kedua, dan ini lebih sering diabaikan: imbuhan mengubah siapa pelakunya. Bandingkan dua kalimat berikut.

• "Petugas menghubungi pelapor."
• "Petugas dihubungi pelapor."

Kata dasarnya sama, kata-kata penyusunnya sama, tetapi arah tindakannya terbalik. Untuk klasifikasi kasar mungkin tidak masalah. Untuk menentukan apakah sebuah aduan sudah ditindaklanjuti petugas atau justru pelapor yang mengejar-ngejar, perbedaan ini menentukan segalanya. Hal yang sama berlaku pada pasangan seperti pemasangan (prosesnya) dan pemasang (orangnya), atau pengaduan dan pengadu.

2. Homonim dan makna ganda

Kata yang bentuknya sama tetapi maknanya berbeda banyak sekali dan sangat umum dipakai:

• bisa — mampu, atau racun ular
• kali — sungai, atau perkalian, atau "barangkali" dalam ragam percakapan
• genting — atap rumah, atau keadaan gawat
• rapat — pertemuan, atau tidak berjarak
• jalan — prasarana, atau kegiatan berjalan, atau "berfungsi" ("aplikasinya tidak jalan")
• tahu — mengetahui, atau makanan

Perhatikan bahwa daftar ini bukan sekadar keunikan bahasa. Dalam kanal aduan, pesan "genting rumah saya bocor" dan "situasinya genting" harus berakhir di dua tempat berbeda, dan satu-satunya pembeda ada pada kata-kata di sekitarnya.

3. Singkatan dan ragam tulis tidak baku

Inilah sumber yang paling khas kanal layanan dan paling sering diremehkan. Bentuknya bermacam-macam.

Singkatan berkepanjangan ganda. PBB di kanal layanan daerah hampir pasti pajak bumi dan bangunan, tetapi kepanjangan lain juga ada dan dikenal luas. SIM bisa surat izin mengemudi atau kartu ponsel. KK bisa kartu keluarga atau sapaan "kakak". TL bisa tindak lanjut atau lampu lalu lintas.

Singkatan ragam pesan. yg, tdk, sdh, dgn, bgt, gpp, dr (yang bisa berarti "dari" atau "dokter").

Ragam tulis bebas. Huruf yang diulang untuk menekankan (banjirrrr), huruf besar semua, tanda seru berderet, emoji, spasi yang hilang, salah ketik.

Godaannya adalah membersihkan semua itu habis-habisan. Tahan dulu. Huruf besar semua dan tanda seru berderet sering menjadi penanda kegawatan yang justru berguna. Yang tepat biasanya bukan membuang, melainkan menormalkan secara sadar: menyusun kamus singkatan khusus kanal tersebut, memutuskan kepanjangannya berdasarkan konteks layanan yang nyata, dan menyimpan keputusan itu sebagai dokumen yang bisa ditinjau ulang. Kamus semacam ini bersifat lokal — kamus untuk kanal pajak tidak otomatis cocok untuk kanal kesehatan.

4. Campur kode

Pesan nyata jarang berbahasa Indonesia baku murni. Yang lazim adalah campuran:

"Pak, sampah di TPS Cempaka belum diangkat, tolong di-follow up ya. Warga sini udah complain terus."

"Kumaha atuh Pak, aermah teu ngocor ti isuk."

Campurannya bisa dengan bahasa Inggris, bahasa daerah, atau keduanya sekaligus, dan sering dengan imbuhan Indonesia menempel pada kata asing (di-follow up, nge-share, diupload). Bagi sistem yang dibangun dari teks berita baku, bentuk-bentuk ini terlihat asing seluruhnya — bukan cuma satu-dua kata.

Bonus: konteks yang tidak ada di dalam teks

Dua hal terakhir yang perlu kamu sadari sejak awal. Rujukan luar teks: "lokasinya sama seperti laporan saya kemarin" tidak bisa dipecahkan dari pesan itu sendiri. Negasi dan sindiran: "mantap sekali pelayanannya, tiga minggu belum ada kabar" mengandung kata bernada positif tetapi maksudnya keluhan.

Yang harus kamu lakukan dengan pengetahuan ini

Jangan menyimpannya sebagai daftar bacaan. Ubah menjadi berkas kasus uji. Setiap kali kamu menemukan satu contoh dari empat sumber di atas pada data nyata, salin pesannya, tuliskan jawaban yang benar menurutmu, dan simpan. Berkas itu akan menjadi alat paling berguna yang kamu punya: ia memberi tahu kamu apakah perubahan yang baru kamu lakukan memperbaiki keadaan atau justru merusak yang sudah benar. Kita mulai menyusunnya di unit berikutnya.

Dikerjakan: Dari Dua Belas Pesan Menjadi Spesifikasi Tugas

Kita kerjakan kasus kotak masuk aduan sampai selesai. Semua pesan di bawah ini rekaan, disusun agar menyerupai pesan nyata.

Langkah 0 — Lihat datanya dulu, jangan mulai dari daftar label

Langkah 1 — Tentukan keputusan yang mau dibantu

Pertanyaannya bukan "apa yang bisa dilakukan NLP di sini", melainkan keputusan manusia mana yang sekarang lambat. Ada dua: menentukan pesan ini urusan siapa, dan menentukan pesan ini bisa menunggu atau tidak.

Terapkan uji dari unit 2. Tujuan dinas dipilih dari daftar yang sudah disepakati → klasifikasi. Status gawat juga dipilih dari daftar (gawat / tidak) → klasifikasi kedua, terpisah, karena pesan gawat bisa berasal dari dinas mana pun. Lokasi bisa ditunjuk letaknya di dalam teks → ekstraksi, dan kita tunda dulu ke tahap berikutnya agar cakupan pekerjaan tidak melebar.

Langkah 2 — Tulis definisi label, bukan sekadar nama label

Nama label tanpa definisi adalah sumber perselisihan. Setiap label butuh satu kalimat batas dan satu contoh yang bukan anggotanya.

Dua aturan tambahan yang wajib ditulis sekarang, bukan nanti:

• Pesan bertopik lebih dari satu (pesan #9: jalan berlubang dan lampu mati). Pilih satu dan tulis alasannya: kita pakai multi-label — pesan boleh membawa lebih dari satu label rute — karena membuang salah satunya berarti satu kerusakan tidak pernah diteruskan ke siapa pun.
• Penanda gawat berdiri sendiri. Definisinya: ada risiko cedera atau lumpuhnya akses dalam waktu dekat. Menurut definisi ini pesan #3 dan #11 gawat; #1 tidak, sekalipun menyebut rawan kejahatan. Definisi ini bisa diperdebatkan — dan memang harus diperdebatkan sekarang, bersama dinas terkait, bukan setelah sistem berjalan.

Langkah 3 — Uji definisinya dengan dua pelabel

Minta dua orang melabeli dua belas pesan itu tanpa berdiskusi, lalu bandingkan. Pada data rekaan ini, titik perselisihan yang paling mungkin muncul:

• #5 — apresiasi, tetapi menyebut got yang sudah dibersihkan. bukan_aduan atau persampahan?
• #12 — kata-katanya memuji, isinya keluhan keterlambatan. Sindiran memenuhi syarat bukan_aduan secara permukaan, padahal jelas bukan.
• #4 — PBB harus diputuskan kepanjangannya sebelum dilabeli.
• #2 vs #7 — keduanya soal sampah, tetapi satu bertanya jadwal dan satu melaporkan kegagalan pengangkutan.

Aturannya: perselisihan adalah cacat pedoman, bukan cacat pelabel. Perbaiki definisinya (misalnya, tambahkan pada bukan_aduan: "pesan yang memuji tetapi menyebut layanan belum selesai tetap dihitung aduan"), lalu labeli ulang pesan yang terdampak.

Langkah 4 — Tetapkan ukuran keberhasilan

Satu angka tunggal akan menyesatkan, karena jumlah tiap kelas timpang dan biaya kesalahannya tidak sama.

1. Penanda gawat: utamakan recall. Melewatkan kabel menjuntai jauh lebih mahal daripada mengirim petugas untuk sesuatu yang ternyata tidak gawat. Laporkan tetap precision-nya, supaya kita tahu berapa banyak kunjungan sia-sia yang ditimbulkan.
2. Rute dinas: pakai rata-rata per kelas (macro), bukan akurasi keseluruhan. Kelas kecil seperti bahaya_listrik akan tenggelam kalau semuanya dirata-rata langsung.
3. Ukuran operasional: cakupan otomatis. Berapa bagian pesan yang bisa dirutekan tanpa sentuhan manusia pada ambang keyakinan tertentu, dan sisanya masuk antrean petugas. Angka targetnya ditetapkan bersama dinas, bukan ditebak oleh tim teknis.
4. Pembanding wajib: pekerjaan petugas hari ini. Tanpa ini, angka apa pun tidak punya arti.

Langkah 5 — Siapkan pembanding sederhana dan pisahkan data uji

Buat aturan kata kunci sebagai pembanding paling dasar ("lampu" dan "jalan" → penerangan_jalan). Kalau sistem yang rumit tidak mengalahkan aturan sederhana ini, ada yang salah. Pisahkan sebagian data sebagai data uji sebelum kamu membacanya, dan jangan sentuh sampai evaluasi.

Langkah 6 — Kartu spesifikasi tugas

Tugas: klasifikasi multi-label rute dinas + klasifikasi biner penanda gawat
Masukan: satu pesan aduan, teks bebas, campur kode
Keluaran: satu atau lebih dari delapan label rute; penanda gawat ya/tidak
Ukuran: recall penanda gawat (dilaporkan bersama precision); rata-rata per kelas untuk rute; cakupan otomatis pada ambang tertentu
Pembanding: aturan kata kunci dan kinerja petugas saat ini
Kasus uji tetap: #4 (PBB), #9 (dua topik), #12 (sindiran), ditambah temuan baru
Di luar cakupan tahap ini: ekstraksi lokasi, draf balasan otomatis

Kartu inilah hasil kerja modul ini. Ia muat di satu halaman, bisa ditunjukkan ke dinas, dan bisa diperdebatkan sebelum satu baris kode ditulis.

Enam Salah Paham yang Paling Mahal di Awal Proyek

Semua salah paham di bawah ini masuk akal kedengarannya. Justru karena itu ia bertahan lama dan baru ketahuan setelah biaya sudah keluar.

1. "NLP itu ya chatbot dan model bahasa besar"

Kenapa muncul: yang paling terlihat dari luar memang antarmuka percakapan.

Koreksinya: percakapan adalah satu penerapan, bukan keseluruhan bidang. Menyortir aduan ke delapan label, mengambil nama jalan dari teks, dan mengurutkan dokumen relevan semuanya NLP, dan tidak satu pun berbentuk percakapan. Yang lebih penting: untuk pekerjaan berkeluaran terbatas seperti penyortiran, bentuk percakapan sering justru merepotkan, karena keluarannya harus dipetakan ulang ke daftar label sebelum bisa dihitung benar-salahnya. Pilih bentuk tugas dari kebutuhan keluaran, bukan dari apa yang sedang populer.

2. "Yang penting modelnya bagus; definisi label bisa dibereskan belakangan"

Kenapa muncul: menulis definisi terasa seperti pekerjaan administratif, sedangkan melatih model terasa seperti kemajuan nyata.

Koreksinya: model belajar dari label. Kalau dua pelabel memberi jawaban berbeda untuk pesan yang sama karena batas kategorinya kabur, model menerima sinyal yang saling bertentangan — dan tidak ada arsitektur yang bisa memperbaiki data yang isinya perselisihan. Lebih buruk lagi, evaluasinya ikut tidak berarti: kamu mengukur ketepatan terhadap acuan yang sendirinya tidak konsisten. Definisi label adalah pekerjaan teknis, bukan pekerjaan administrasi.

3. "Akurasinya tinggi, berarti sistemnya berhasil"

Kenapa muncul: satu angka besar mudah dilaporkan dan menyenangkan didengar.

Koreksinya: ada dua jebakan yang bekerja bersamaan. Pertama, kelas timpang. Kalau kategori gawat hanya muncul sesekali di antara ribuan pesan biasa, sistem yang menjawab "tidak gawat" untuk semua pesan bisa mencatat akurasi tinggi sambil melewatkan setiap kasus yang penting. Kedua, biaya kesalahan tidak simetris. Salah kirim pesan pertanyaan jadwal ke dinas yang keliru berarti kerugian beberapa menit. Melewatkan laporan kabel listrik menjuntai berarti hal lain sama sekali. Karena itu ukuran keberhasilan harus dipecah per kelas dan disertai keterangan biaya tiap jenis kesalahan.

4. "Bahasa Indonesia lebih gampang diproses karena tidak ada perubahan bentuk kata kerja"

Kenapa muncul: dibandingkan bahasa dengan konjugasi rumit, tata bahasa Indonesia tampak lurus.

Koreksinya: kesulitannya cuma pindah tempat. Sistem imbuhan membuat satu akar melahirkan banyak bentuk, dan awalan me- versus di- membalik siapa pelakunya — perbedaan yang menentukan ketika kamu ingin tahu apakah petugas sudah menindaklanjuti atau justru sedang dikejar pelapor. Di luar itu, teks nyata di kanal layanan penuh singkatan lokal, ragam tulis bebas, dan campur kode dengan bahasa daerah maupun bahasa Inggris. Tidak adanya konjugasi tidak membuat pekerjaan ini ringan.

5. "Praproses yang benar itu membersihkan sebersih-bersihnya"

Kenapa muncul: urutan huruf kecil semua, buang tanda baca, buang kata umum, potong imbuhan sudah terlanjur jadi resep hafalan.

Koreksinya: setiap langkah pembersihan membuang informasi, dan kamu harus bisa menyebutkan apa yang dibuang serta kenapa itu tidak apa-apa. Huruf besar semua dan tanda seru berderet sering menandai kegawatan. Kata negasi tergolong kata umum di banyak daftar, padahal membuangnya bisa membalik makna kalimat. Pemotong imbuhan yang bekerja dari pola huruf bisa merusak kata yang kebetulan berawal seperti imbuhan. Sikap yang lebih aman: normalkan yang memang perlu dinormalkan — misalnya singkatan lewat kamus khusus kanal — dan uji setiap langkah pembersihan seperti kamu menguji perubahan lain.

6. "Pesan yang membingungkan itu data kotor; buang saja dari data"

Kenapa muncul: membuangnya membuat pelabel lebih sepakat dan angka evaluasi terlihat lebih rapi.

Koreksinya: pesan membingungkan bukan kelainan, ia bagian normal dari kanal aduan — dan sering justru kasus yang paling perlu ditangani manusia dengan cepat. Membuangnya dari data uji berarti kamu mengukur sistem pada versi dunia yang lebih mudah daripada dunia sebenarnya, lalu terkejut saat sistem dipakai. Yang benar: simpan pesan itu, putuskan aturannya di pedoman (termasuk kategori "tidak dapat ditentukan" bila perlu), dan pastikan pesan berkeyakinan rendah dialirkan ke petugas, bukan dibuang diam-diam.

Kuis: Mengambil Keputusan pada Kasus Baru

Petunjuk pengerjaan

Ada empat soal pilihan ganda. Semuanya memakai kasus yang belum pernah muncul di unit sebelumnya — bukan kasus kotak masuk aduan yang sudah kita bedah bersama. Tujuannya menguji apakah kamu bisa memakai kerangka modul ini pada situasi baru, bukan apakah kamu ingat contoh yang sudah dibahas.

Cara mengerjakan:

1. Baca kasusnya sampai habis sebelum melihat pilihan jawaban. Setiap soal berisi keterangan situasi yang menentukan jawaban; melompat ke pilihan lebih dulu akan membuatmu terpancing pada jawaban yang terdengar paling teknis.
2. Sebelum memilih, rumuskan sendiri jawabanmu dalam satu kalimat. Untuk soal jenis tugas, jawab dulu dua pertanyaan andalan: apa yang masuk, apa yang keluar. Untuk soal ukuran keberhasilan, tanyakan kelas mana yang jarang muncul dan kesalahan mana yang paling mahal.
3. Perhatikan pilihan yang setengah benar. Pada beberapa soal ada dua pilihan yang sama-sama masuk akal; satu di antaranya gagal pada satu detail spesifik yang disebutkan di kasus. Cari detail itu.
4. Setiap soal punya satu jawaban paling tepat.

Tidak ada batas waktu. Kerjakan tanpa membuka kembali materi — kalau ada soal yang terasa buntu, tandai dulu, selesaikan sisanya, baru kembali. Setelah selesai, baca pembahasan seluruh soal, termasuk soal yang kamu jawab benar: pembahasannya menjelaskan juga kenapa pilihan lain salah, dan bagian itu sering lebih berguna daripada kunci jawabannya sendiri.

Sasaran minimal sebelum lanjut ke unit rangkuman: tiga dari empat soal benar, dan kamu bisa menjelaskan dengan kalimatmu sendiri kenapa satu soal yang salah itu salah.

Rangkuman dan Daftar Periksa Sebelum Lanjut

Yang sudah kita bangun

Modul ini tidak mengajarkan satu teknik pun, dan itu disengaja. Yang dibangun adalah tiga alat berpikir yang akan dipakai ulang di setiap modul berikutnya.

Alat pertama: dua pertanyaan pembeda jenis tugas. Apa yang masuk, apa yang keluar. Dari sana empat bentuk dasar bisa dibedakan tanpa menghafal nama teknik. Ekstraksi bila jawabannya bisa ditunjuk letaknya di dalam teks masukan. Klasifikasi bila jawabannya dipilih dari daftar tertutup yang disepakati sebelum data masuk. Pencarian bila yang diminta adalah urutan dokumen dari kumpulan yang sudah ada. Pembangkitan bila jawabannya kalimat baru yang harus disusun sendiri. Pilihan ini menentukan tiga hal mahal: bentuk data latihnya, cara evaluasinya, dan seberapa sulit hasilnya dipertanggungjawabkan. Aturan praktis yang paling sering menyelamatkan: kalau keluaran yang dibutuhkan berbatas, jangan memilih bentuk tugas yang keluarannya tak berbatas.

Alat kedua: peta letak ambiguitas bahasa Indonesia. Kata berimbuhan, yang bukan hanya menyulitkan pemenggalan tetapi juga membalik siapa pelakunya. Homonim yang dipakai sehari-hari seperti bisa, kali, genting, dan jalan. Singkatan berkepanjangan ganda serta ragam tulis bebas yang khas kanal layanan. Campur kode antara bahasa Indonesia, bahasa daerah, dan bahasa Inggris. Ditambah dua hal yang tidak ada di dalam teks sama sekali: rujukan ke percakapan sebelumnya, dan sindiran. Pengetahuan ini baru berguna kalau diubah bentuknya menjadi berkas kasus uji.

Alat ketiga: urutan merumuskan masalah menjadi tugas. Lihat data dulu, baru susun label. Tentukan keputusan manusia mana yang sedang lambat. Tulis definisi label lengkap dengan batas dan contoh yang bukan anggotanya. Uji definisi itu dengan dua pelabel yang bekerja terpisah, dan perlakukan setiap perselisihan sebagai cacat pedoman. Tetapkan ukuran keberhasilan yang dipecah per kelas dan disertai biaya tiap jenis kesalahan. Sediakan pembanding sederhana. Hasilnya satu halaman kartu spesifikasi tugas yang bisa didebat sebelum satu baris kode ditulis.

Kalimat yang layak kamu bawa

Sebagian besar proyek NLP yang gagal tidak gagal karena modelnya lemah. Gagalnya karena tidak pernah ada kesepakatan tertulis tentang apa yang dianggap jawaban benar.

Daftar periksa mandiri

Centang jujur. Kalau ada satu saja yang belum, kembali ke unit yang disebutkan sebelum lanjut ke modul berikutnya.

Membedakan jenis tugas (unit 2)

• [ ] Aku bisa menyebutkan bentuk masukan dan keluaran untuk keempat jenis tugas tanpa melihat catatan.
• [ ] Diberi satu kebutuhan baru yang belum pernah kubaca, aku bisa menentukan jenis tugasnya dan menyebutkan alasannya dalam satu kalimat.
• [ ] Aku bisa menjelaskan kenapa memilih pembangkitan untuk pekerjaan berkeluaran terbatas menyulitkan evaluasi.

Menganalisis ambiguitas (unit 3)

• [ ] Aku bisa menyebutkan keempat sumber ambiguitas beserta satu contoh berbahasa Indonesia untuk masing-masing, dari kepalaku sendiri.
• [ ] Aku bisa menunjukkan satu pasangan kata berimbuhan yang membalik siapa pelakunya, dan menjelaskan kenapa itu penting bagi sebuah sistem.
• [ ] Aku sudah mulai mengumpulkan berkas kasus uji, minimal lima pesan sulit beserta jawaban benarnya.

Merumuskan masalah (unit 4)

• [ ] Aku sudah mengisi satu kartu spesifikasi tugas untuk masalah dari lingkungan kerjaku sendiri, bukan menyalin contoh aduan warga.
• [ ] Setiap label pada kartu itu punya kalimat batas dan satu contoh yang bukan anggotanya.
• [ ] Aku sudah menuliskan aturan untuk pesan bertopik lebih dari satu.
• [ ] Ukuran keberhasilanku dipecah per kelas, bukan satu angka tunggal, dan aku bisa menyebutkan kesalahan jenis mana yang paling mahal beserta alasannya.
• [ ] Aku sudah menetapkan pembanding: aturan sederhana, kinerja manusia saat ini, atau keduanya.

Menghindari salah paham (unit 5)

• [ ] Aku bisa menjelaskan kenapa angka akurasi tinggi bisa menyertai sistem yang gagal.
• [ ] Aku bisa menyebutkan satu langkah praproses yang lazim dipakai tetapi berisiko membuang informasi penting.

Yang menanti di modul berikutnya

Setelah kerangka ini terpasang, modul berikutnya masuk ke lapisan di bawahnya: bagaimana teks diubah menjadi bentuk yang bisa diolah mesin, dan bagaimana ukuran keberhasilan yang tadi kita sebut sepintas dihitung sebenarnya. Kartu spesifikasi yang kamu isi hari ini akan dipakai lagi di sana sebagai bahan kerja, jadi simpan baik-baik.

Sertifikat penyelesaian kelas ini diberikan setelah seluruh modul dan tugas mandirinya rampung.