Saat mempertimbangkan penjelasan yang ditampilkan dari layanan, Anda harus memperhatikan batasan umum berikut. Untuk penjelasan mendalam, lihat Laporan Resmi AI Explanations.
Pengertian dan cakupan atribusi fitur
Pertimbangkan hal-hal berikut saat menganalisis atribusi fitur yang disediakan oleh Vertex Explainable AI:
- Setiap atribusi hanya menunjukkan seberapa besar fitur tersebut memengaruhi prediksi untuk contoh tertentu. Atribusi tunggal mungkin tidak mencerminkan perilaku model secara keseluruhan. Untuk memahami perkiraan perilaku model di seluruh set data, gabungkan atribusi di seluruh set data.
- Atribusi bergantung sepenuhnya pada model dan data yang digunakan untuk melatih model tersebut. Atribusi ini hanya dapat mengungkapkan pola yang ditemukan oleh model di dalam data, dan tidak dapat mendeteksi hubungan mendasar dalam data. Ada atau tidaknya atribusi yang kuat ke fitur tertentu tidak berarti ada atau tidak adanya hubungan antara fitur tersebut dengan target. Atribusi hanya menunjukkan bahwa model menggunakan atau tidak menggunakan fitur tersebut dalam prediksinya.
- Atribusi saja tidak dapat menunjukkan apakah model Anda fair, tidak bias, atau berkualitas wajar. Selain atribusi, evaluasi data pelatihan dan metrik evaluasi Anda dengan cermat.
Meningkatkan kualitas atribusi fitur
Saat bekerja dengan model yang dilatih khusus, Anda dapat mengonfigurasi parameter tertentu untuk meningkatkan kualitas penjelasan. Bagian ini tidak berlaku untuk model AutoML.
Faktor-faktor berikut memiliki dampak terbesar terhadap atribusi fitur:
Metode atribusi memperkirakan nilai Shapley. Anda dapat meningkatkan presisi perkiraan dengan:
- Meningkatkan jumlah langkah integral untuk metode Integrated gradients atau XRAI.
- Meningkatkan jumlah jalur integral untuk metode Sampled Shapley.
Akibatnya, atribusi dapat berubah secara drastis.
Atribusi hanya menyatakan seberapa besar fitur tersebut memengaruhi perubahan nilai prediksi, relatif terhadap nilai dasar pengukuran. Pastikan untuk memilih dasar pengukuran yang bermakna, yang relevan dengan pertanyaan yang Anda ajukan tentang model. Nilai atribusi dan penafsirannya dapat berubah signifikan saat Anda beralih baseline.
Untuk metode Integrated Gradients dan XRAI, penggunaan dua baseline dapat meningkatkan kualitas hasil. Misalnya, Anda dapat menentukan baseline yang merepresentasikan gambar yang seluruhnya hitam dan seluruhnya putih.
Baca selengkapnya cara meningkatkan kualitas atribusi fitur.
Batasan untuk data gambar
Dua metode atribusi yang mendukung data gambar adalah Integrated Gradients dan XRAI.
Integrated Gradients adalah metode atribusi berbasis piksel yang menyoroti area penting dalam gambar terlepas dari kontrasnya, sehingga ideal untuk gambar tidak alami seperti sinar-X. Namun, output terperinci dapat membuat metode ini kesulitan untuk menilai tingkat kepentingan relatif berbagai area. Output default metode ini menyoroti area dalam gambar yang memiliki atribusi positif tinggi dengan menggambar garis batas, tetapi garis batas tersebut tidak diperingkatkan dan dapat mencakup banyak objek.
XRAI berfungsi paling baik pada gambar yang alami dan memiliki kontras tinggi serta berisi banyak objek. Karena menghasilkan atribusi berbasis area, metode ini akan menghasilkan peta panas yang lebih halus dan mudah dibaca manusia dari area yang paling kentara untuk klasifikasi gambar tertentu.
Saat ini, XRAI tidak berfungsi dengan baik pada jenis input gambar berikut:
- Gambar berkontras rendah yang semuanya berupa satu bayangan, misalnya sinar-X.
- Gambar yang sangat tinggi atau sangat lebar, seperti panorama.
- Gambar yang sangat besar, yang dapat memperlambat runtime secara keseluruhan.