Mencatat data secara otomatis ke operasi eksperimen

Autologging adalah fitur di Vertex AI SDK yang otomatis mencatat parameter dan metrik dari operasi pelatihan model ke Vertex AI Experiment. Dengan fitur ini, Anda tidak perlu mencatat data secara manual sehingga dapat menghemat waktu dan tenaga. Saat ini, autologging hanya mendukung pencatatan parameter dan metrik.

Mencatat data secara otomatis

Ada dua opsi untuk otomatis mencatat data ke Vertex AI Experiment.

  1. Biarkan Vertex AI SDK membuat resource ExperimentRun secara otomatis untuk Anda.
  2. Tentukan resource ExperimentRun yang Anda inginkan untuk menulis parameter dan metrik otomatis.

Dibuat otomatis

Vertex AI SDK untuk Python menangani pembuatan resource ExperimentRun untuk Anda. Resource ExperimentRun yang dibuat secara otomatis akan memiliki nama operasi dalam format berikut: {ml-framework-name}-{timestamp}-{uid}, misalnya: "tensorflow-2023-01-04-16-09-20-86a88".

Contoh berikut menggunakan metode init, dari Package functions aiplatform.

Python

def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • experiment_tensorboard: (Opsional) Berikan nama untuk instance Vertex AI TensorBoard Anda.
  • project: Project ID Anda. Anda dapat menemukan Project ID ini di halaman selamat datang di Konsol Google Cloud.
  • location: Lihat Daftar lokasi yang tersedia

Ditentukan pengguna

Berikan nama ExperimentRun Anda sendiri serta catat metrik dan parameter dari beberapa operasi pelatihan model ke ExperimentRun yang sama. Setiap metrik mulai dari model hingga operasi terbaru ditetapkan dengan memanggil aiplatform.start_run("your-run-name") hingga aiplatform.end_run() dipanggil.

Contoh berikut menggunakan metode init, dari Package functions aiplatform.

Python

def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name: Masukkan nama eksperimen Anda.
  • run_name: Berikan nama untuk operasi eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukan Project ID ini di halaman welcome konsol Google Cloud.
  • location: Lihat Daftar lokasi yang tersedia
  • experiment_tensorboard: (Opsional) Berikan nama untuk instance Vertex AI TensorBoard Anda.

Autologging Vertex AI SDK menggunakan autologging MLFlow dalam implementasinya. Metrik dan parameter evaluasi dari framework berikut dicatat ke ExperimentRun Anda jika autologging diaktifkan.

  • Fastai
  • Gluon
  • Keras
  • LightGBM
  • Pytorch Lightning
  • Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

Melihat parameter dan metrik yang dicatat otomatis

Gunakan Vertex AI SDK untuk Python guna membandingkan operasi dan mendapatkan datanya. Konsol Google Cloud menyediakan cara mudah untuk membandingkan operasi ini.

Contoh notebook yang relevan

Postingan blog