Modul 4 — Modul 4 — Mengukur dengan Jujur: Memilih Metrik dan Ambang Keputusan

• Mengevaluasi model klasifikasi dan model regresi memakai metrik yang sejalan dengan biaya kesalahan pada konteks pemakaiannya, serta merumuskan pilihan itu dalam satu kalimat biaya eksplisit yang menyebut apa yang mahal, berapa kali lipat, dan batas apa yang mengikat
• Menerapkan validasi silang berlapis dan pembagian berbasis waktu secara operasional, mulai dari cara menyusun lipatan sampai cara meringkas dan melaporkan hasilnya
• Membedakan sebaran kinerja antar-lipatan dari klaim bahwa satu model unggul atas model lain, dengan membandingkan selisih berpasangan terhadap goyangan antar-lipatan
• Menganalisis pengaruh pemindahan ambang keputusan terhadap keseimbangan kesalahan positif dan negatif, lalu merumuskan ambang operasional dari rasio biaya sekaligus dari batas kapasitas kerja nyata
• Membedakan angka evaluasi yang sah dilaporkan dari angka yang sudah tercemar oleh proses pemilihan ambang, hiperparameter, atau model