Mengonfigurasi mesin

Halaman ini secara singkat membahas konsep di balik cara mengonfigurasi mesin.

Sumber yang didukung untuk hyperparameter

Saat mengonfigurasi mesin, Anda dapat memilih sumber hyperparameter yang digunakan untuk membuat model. Sumber berikut didukung:

Penyesuaian otomatis: AML AI akan menyesuaikan hyperparameter saat Anda membuat resource EngineConfig (perilaku default)
Pewarisan: Mewarisi hyperparameter dari konfigurasi mesin sebelumnya yang dibuat dengan versi mesin sebelumnya dalam versi penyesuaian yang sama. Setelan ini memungkinkan Anda menghindari penyesuaian ulang setiap kali mengadopsi versi mesin model baru.

Kapan harus menyesuaikan atau mewarisi

Bagian berikut menguraikan kapan Anda harus memilih penyesuaian otomatis dan kapan Anda harus mewarisi hyperparameter dari konfigurasi mesin sebelumnya.

Waktu tuning

Anda memiliki opsi untuk menyesuaikan setiap konfigurasi engine baru dan, jika ragu, Anda harus selalu menyesuaikan untuk hasil performa terbaik. Lihat bagian Cara menyetel mesin untuk mengetahui informasi selengkapnya.

Untuk mendapatkan performa terbaik, sebaiknya pertimbangkan mesin tuning saat salah satu hal berikut terjadi:

Anda membuat perubahan signifikan pada logika set data. Misalnya, jika salah satu perubahan berikut:
- Logika yang digunakan untuk mengisi kolom
- Pilihan kolom yang DIREKOMENDASIKAN yang terisi
- Logika atau pemilihan data yang diberikan dalam tabel PartySupplementaryData
Anda akan memiliki mesin yang melatih model untuk region baru.

Kapan harus mewarisi hyperparameter

Untuk menghemat waktu dan biaya saat mengadopsi versi mesin baru, Anda dapat mewarisi hyperparameter dari mesin sebelumnya menggunakan versi penyesuaian yang sama. Lihat bagian Cara mengadopsi versi mesin tanpa melakukan penyesuaian ulang.

Versi mesin dengan versi penyesuaian v003, dan versi mesin yang dirilis sebelum 22-02-2024, tidak mendukung pewarisan hyperparameter, tetapi versi ini dapat digunakan sebagai sumber hyperparameter.

Cara menyetel mesin

Untuk memicu tuning, lihat Membuat dan mengelola konfigurasi mesin.

Secara khusus, Anda harus memilih hal berikut:

Data yang akan digunakan untuk penyesuaian mesin:

Tentukan set data dan waktu berakhir dalam rentang tanggal set data.

Penyesuaian mesin menggunakan label dan fitur berdasarkan bulan kalender lengkap hingga, tetapi tidak termasuk, bulan dari waktu berakhir yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Rentang waktu set data.
Versi mesin yang akan digunakan untuk tuning mesin:

Pilih versi mesin yang cocok dengan lini bisnis (retail atau komersial) yang akan Anda gunakan dengan model terkaitnya.
Volume investigasi yang Anda harapkan berdasarkan model:

Tentukan partyInvestigationsPerPeriodHint Ini digunakan oleh engine tuning, pelatihan, dan backtesting untuk memastikan AML AI memberikan performa sesuai volume penyelidikan Anda.

Output penyesuaian mesin

Penyesuaian mesin menghasilkan resource EngineConfig, yang dapat digunakan untuk membuat Resource model.

Metadata konfigurasi mesin berisi metrik berikut. Secara khusus, metrik ini menunjukkan hal berikut:

Peningkatan performa yang diharapkan dari penyesuaian mesin dibandingkan dengan penggunaan hyperparameter default

Catatan: Metrik perolehan hanya menampilkan pangsa peristiwa AML_EXIT historis yang akan diberitahukan dengan model tertentu, dan dapat digunakan untuk memutuskan untuk melanjutkan ke pengujian langsung. Mengingat tidak semua kasus diselidiki, performa di dunia nyata memiliki keuntungan yang signifikan.
Setiap perubahan besar pada kelompok fitur yang didukung set data (antara engine tuning, pelatihan, evaluasi, dan prediksi)

Nama metrik Deskripsi metrik Contoh nilai metrik

ExpectedRecallPreTuning

Nama metrik	Deskripsi metrik	Contoh nilai metrik
ExpectedRecallPreTuning	Metrik Recall yang diukur pada set pengujian saat menggunakan hyperparameter default dari versi mesin. Pengukuran perolehan ini mengasumsikan jumlah investigasi per bulan yang ditentukan dalam `partyInvestigationsPerPeriodHint`.	{ "recallValues": [ { "partyInvestigationsPerPeriod": 5000, "recallValue": 0.72, "scoreThreshold": 0.42, }, ], }
ExpectedRecallPostTuning	Metrik Recall yang diukur pada set pengujian saat menggunakan hyperparameter yang disesuaikan. Pengukuran perolehan ini mengasumsikan jumlah investigasi per bulan yang ditentukan dalam `partyInvestigationsPerPeriodHint`.	{ "recallValues": [ { "partyInvestigationsPerPeriod": 5000, "recallValue": 0.80, "scoreThreshold": 0.43, }, ], }
Hilang	Berbagi nilai yang tidak ada di semua fitur dalam setiap kelompok fitur. Idealnya, semua kelompok fitur AML AI harus memiliki Nilai Hilang mendekati 0. Pengecualian dapat terjadi jika data yang mendasari kelompok fitur tersebut tidak tersedia untuk integrasi. Perubahan signifikan pada nilai ini untuk kelompok fitur apa pun antara penyesuaian, pelatihan, evaluasi, dan prediksi dapat menunjukkan inkonsistensi dalam set data yang digunakan.	{ "featureFamilies": [ { "featureFamily": "unusual_wire_credit_activity", "missingnessValue": 0.00, }, ... ... { "featureFamily": "party_supplementary_data_id_3", "missingnessValue": 0.45, }, ], }

Metrik Recall yang diukur pada set pengujian saat menggunakan hyperparameter default dari versi mesin.

Pengukuran perolehan ini mengasumsikan jumlah investigasi per bulan yang ditentukan dalam partyInvestigationsPerPeriodHint.


{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.72,
      "scoreThreshold": 0.42,
    },
  ],
}

ExpectedRecallPostTuning

Metrik Recall yang diukur pada set pengujian saat menggunakan hyperparameter yang disesuaikan.

Pengukuran perolehan ini mengasumsikan jumlah investigasi per bulan yang ditentukan dalam partyInvestigationsPerPeriodHint.


{
  "recallValues": [
    {
      "partyInvestigationsPerPeriod": 5000,
      "recallValue": 0.80,
      "scoreThreshold": 0.43,
    },
  ],
}

Hilang

Berbagi nilai yang tidak ada di semua fitur dalam setiap kelompok fitur.

Idealnya, semua kelompok fitur AML AI harus memiliki Nilai Hilang mendekati 0. Pengecualian dapat terjadi jika data yang mendasari kelompok fitur tersebut tidak tersedia untuk integrasi.

Perubahan signifikan pada nilai ini untuk kelompok fitur apa pun antara penyesuaian, pelatihan, evaluasi, dan prediksi dapat menunjukkan inkonsistensi dalam set data yang digunakan.


{
  "featureFamilies": [
    {
      "featureFamily": "unusual_wire_credit_activity",
      "missingnessValue": 0.00,
    },
    ...
    ...
    {
      "featureFamily": "party_supplementary_data_id_3",
      "missingnessValue": 0.45,
    },
  ],
}

Cara mengadopsi versi mesin tanpa penyesuaian ulang

Untuk menggunakan kembali hyperparameter dari konfigurasi mesin sebelumnya, lihat bagian Membuat konfigurasi mesin yang mewarisi hyperparameter (di halaman Membuat dan mengelola konfigurasi mesin). Secara khusus, Anda harus memilih hal berikut:

Jenis sumber hyperparameter: Pilih INHERITED sebagai hyperparameterSourceType. Jika Anda tidak menentukan jenis sumber, jenis sumber hyperparameter akan ditetapkan ke TUNING untuk memungkinkan kompatibilitas mundur.
Sumber hyperparameter: Tentukan nama resource lengkap dari konfigurasi mesin sumber di objek hyperparameterSource. Output konfigurasi mesin sumber digunakan untuk konfigurasi engine baru. Konfigurasi engine sumber harus dibuat dengan versi engine sebelumnya dalam versi tuning engine yang sama dengan yang Anda gunakan sekarang.
Versi mesin yang akan digunakan untuk konfigurasi mesin: Pilih versi mesin yang sesuai dengan lini bisnis (retail atau komersial) untuk model yang ingin Anda gunakan. Lini bisnis ini harus cocok dengan lini bisnis dalam konfigurasi mesin yang Anda gunakan sebagai sumber hyperparameter.

Output dan silsilah saat mewarisi

Mewarisi hyperparameter dari versi mesin lain akan menghasilkan resource EngineConfig yang dapat digunakan untuk membuat resource Model menggunakan hyperparameter dari konfigurasi mesin sumber.

Untuk silsilah, kolom berikut dalam resource EngineConfig ditetapkan sebagai berikut saat mewarisi hyperparameter dari konfigurasi mesin lain:

hyperparameterSourceType: INHERITED
hyperparameterSource: Konfigurasi mesin yang digunakan sebagai sumber hyperparameter
tuning: Objek tuning asli, termasuk referensi ke set data yang digunakan untuk penyempurnaan mesin asli (primaryDataset) dan waktu terakhir kali data digunakan untuk menghasilkan fitur bagi pelatihan (endTime)
performanceTarget: Objek performanceTarget asli, termasuk volume investigasi yang diharapkan berdasarkan model yang ditentukan (partyInvestigationsPerPeriodHint)
Metadata konfigurasi mesin dari penyesuaian mesin asli