Ringkasan BigQuery Explainable AI
Dokumen ini menjelaskan cara BigQuery ML mendukung kecerdasan buatan (AI) yang dapat dijelaskan, terkadang disebut XAI.
Explainable AI membantu Anda memahami hasil yang dihasilkan oleh model machine learning prediktif Anda untuk tugas klasifikasi dan regresi dengan menentukan bagaimana setiap fitur dalam baris data berkontribusi pada hasil yang diprediksi. Informasi ini sering disebut sebagai atribusi fitur. Anda dapat menggunakan informasi ini untuk memverifikasi bahwa model berperilaku seperti yang diharapkan, mengenali bias dalam model, dan mengetahui cara meningkatkan kualitas model dan data pelatihan Anda.
Untuk mengetahui informasi tentang pernyataan dan fungsi SQL yang didukung pada setiap jenis model, lihat Perjalanan pengguna menyeluruh untuk setiap model.
Kemampuan penjelasan lokal versus global
Ada dua jenis kemampuan penjelasan: kemampuan penjelasan lokal dan kemampuan penjelasan global. Batas ini juga disebut sebagai pentingnya fitur lokal dan pentingnya fitur global.
- Kemampuan enjelasan lokal menampilkan nilai atribusi fitur untuk setiap contoh yang dijelaskan. Nilai-nilai ini menjelaskan seberapa besar fitur tertentu memengaruhi prediksi relatif terhadap prediksi dasar pengukuran.
- Penjelasan global menampilkan pengaruh keseluruhan fitur pada model dan sering kali diperoleh dengan menggabungkan atribusi fitur di seluruh set data. Nilai absolut yang lebih tinggi menunjukkan bahwa fitur memiliki pengaruh yang lebih besar pada prediksi model.
Penawaran AI Explainable AI di BigQuery ML
Explainable AI di BigQuery ML mendukung berbagai model machine learning, termasuk model deret waktu dan nonderet waktu. Masing-masing model memanfaatkan metode kemampuan penjelasan yang berbeda.
Jika ingin menggunakan Explainable AI di model ML BigQuery yang telah terdaftar ke Model Registryl, ada beberapa persyaratan terpisah yang harus diikuti. Untuk mempelajari lebih lanjut, baca Menerapkan Explainable AI di model ML BigQuery.
Kategori model | Jenis model | Metode penjelasan | Penjelasan dasar tentang metode | Fungsi penjelasan lokal | Menjelaskan fungsi secara global |
---|---|---|---|---|---|
Model yang diawasi | Regresi Logistik & Linear | Nilai Shapley | Nilai Shapley untuk model linear sama dengan model weight * feature
value , saat nilai fitur distandardisasi dan bobot model
dilatih dengan nilai fitur standar. |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
Error Standar dan Nilai P | Error standar dan nilai p digunakan untuk pengujian signifikansi terhadap bobot model. | TA | ML.ADVANCED_WEIGHTS 4 |
||
Pohon yang ditingkatkan Hutan acak |
SHAP Pohon | SHAP Pohon adalah algoritme untuk menghitung nilai SHAP yang tepat untuk model berbasis pohon keputusan. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
Perkiraan Kontribusi Fitur | Memperkirakan nilai kontribusi fitur. Lebih cepat dan lebih sederhana dibandingkan dengan SHAP Pohon. | ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
||
Tingkat kepentingan fitur berbasis Indeks Gini | Skor kepentingan fitur global yang menunjukkan seberapa berguna atau berharganya setiap fitur dalam pembuatan model hutan acak atau pohon boost selama pelatihan. | TA | ML.FEATURE_IMPORTANCE |
||
Deep Neural Network (DNN) Wide-and-Deep |
Integrated Gradients | Metode berbasis gradien yang menghitung atribusi fitur secara efisien
dengan properti aksiomatik yang sama dengan nilai Shapley. Model ini memberikan
perkiraan sampling atribusi fitur yang tepat. Akurasinya
dikontrol oleh parameter integrated_gradients_num_steps . |
ML.EXPLAIN_PREDICT 1 |
ML.GLOBAL_EXPLAIN 2 |
|
AutoML Tables | Sampled Shapley | Sampled Shapley menetapkan kredit untuk hasil model ke setiap fitur, dan mempertimbangkan permutasi fitur yang berbeda. Metode ini memberikan perkiraan pengambilan sampel nilai Shapley yang tepat. | TA | ML.GLOBAL_EXPLAIN 2 |
|
Model deret waktu | ARIMA_PLUS | Dekomposisi deret waktu | Mengurai deret waktu menjadi beberapa komponen jika komponen tersebut ada dalam deret waktu. Komponennya meliputi tren, musiman, liburan, perubahan langkah, serta lonjakan dan penurunan. Lihat pipeline pemodelan ARIMA_PLUS untuk detail selengkapnya. | ML.EXPLAIN_FORECAST 3 |
TA |
ARIMA_PLUS_XREG | Dekomposisi deret waktu dan Nilai Shapley |
Mengurai deret waktu menjadi beberapa komponen, termasuk tren, musiman, liburan, perubahan langkah, serta lonjakan dan penurunan
(serupa dengan ARIMA_PLUS).
Atribusi setiap regressor eksternal dihitung berdasarkan
Nilai Shapley, yang sama dengan model weight * feature value . |
ML.EXPLAIN_FORECAST 3 |
TA |
1ML_EXPLAIN_PREDICT
adalah versi yang diperluas dari ML.PREDICT
.
2ML.GLOBAL_EXPLAIN
menampilkan kemampuan penjelasan global
yang diperoleh dengan mengambil atribusi absolut rata-rata yang diterima setiap fitur untuk
semua baris dalam set data evaluasi.
3ML.EXPLAIN_FORECAST
adalah versi yang diperluas dari ML.FORECAST
.
4ML.ADVANCED_WEIGHTS
adalah versi yang diperluas dari ML.WEIGHTS
.