Evaluasi Model

Transparansi performa sistem terhadap data uji

88.32%

Akurasi Data Uji

0.4342

Loss Data Uji

4

Jumlah Kelas

1799

Total Gambar

Apa itu akurasi? Persentase seberapa sering sistem menebak motif dengan benar pada data uji, yaitu foto-foto yang belum pernah dilihat sistem sebelumnya. Akurasi 88.32% berarti dari 100 foto uji, sekitar 88 di antaranya berhasil ditebak dengan tepat oleh sistem.

Apa itu loss? Angka yang menunjukkan seberapa jauh tebakan sistem meleset dari jawaban yang benar. Berbeda dengan akurasi, semakin kecil nilai loss maka semakin baik. Nilai loss dipakai untuk mengarahkan proses belajar sistem selama pelatihan berlangsung.

Grafik Akurasi & Loss Selama Training

Kurva ini merekam perkembangan sistem dari awal hingga akhir proses belajar (dibaca dari kiri ke kanan, tiap titik mewakili satu putaran belajar yang disebut epoch). Idealnya, garis akurasi naik dan garis loss turun secara stabil. Jika garis validasi mulai memburuk sementara garis training terus membaik, itu pertanda sistem mulai menghafal data latih alih-alih benar-benar memahami polanya, kondisi yang disebut overfitting.

Grafik akurasi dan loss training

Model ini dilatih selama 15 epoch tahap feature extraction, dilanjutkan 10 epoch tahap fine-tuning, dan berakhir dengan loss data uji sebesar 0.4342. Nilai loss yang cukup rendah ini menunjukkan tebakan sistem umumnya sudah dekat dengan jawaban yang benar.

Confusion Matrix

Tabel warna ini menunjukkan hasil tebakan sistem terhadap data uji. Baris menunjukkan motif yang sebenarnya, kolom menunjukkan motif yang ditebak sistem. Warna gelap pada garis diagonal (dari kiri atas ke kanan bawah) artinya tebakan benar. Warna gelap di luar garis diagonal menunjukkan pasangan motif yang paling sering tertukar satu sama lain.

Confusion matrix hasil evaluasi model

Motif dengan pengenalan paling akurat adalah Mega Mendung (recall 95.8%), sedangkan motif Truntum paling sering meleset (recall 81.7%). Pasangan yang paling sering tertukar adalah foto motif Truntum yang 9 kali justru ditebak sebagai Kawung.

Performa Tiap Motif

Precision menunjukkan seberapa tepat sistem saat menebak suatu motif (dari semua tebakan "motif ini", berapa persen yang benar). Recall menunjukkan seberapa lengkap sistem menemukan motif tersebut (dari semua foto motif ini yang sebenarnya, berapa persen yang berhasil dikenali). F1-score adalah gabungan keseimbangan dari keduanya.

Motif Precision Recall F1-Score Jumlah Data Uji
Kawung 85.4% 90.9% 88.1% 77
Mega Mendung 89.6% 95.8% 92.6% 72
Parang 93.1% 83.1% 87.8% 65
Truntum 86.0% 81.7% 83.8% 60
Konfigurasi Training

Batch Size

32

Epoch Feature Extraction

15

Epoch Fine-Tuning

10

Ukuran Input Gambar

224 x 224 piksel