Membandingkan dan menganalisis operasi

Anda dapat menggunakan Vertex AI SDK untuk Python guna melihat Vertex AI Experiments yang menjalankan data dan membandingkan prosesnya.

• Mendapatkan data yang berjalan
• Membandingkan operasi

Konsol Google Cloud memberikan visualisasi data yang terkait dengan operasi ini.

• Melihat data operasi eksperimen
• Membandingkan operasi eksperimen

Mendapatkan data percobaan yang dijalankan

Contoh ini mencakup cara mendapatkan metrik operasi, parameter operasi, metrik deret runtime, artefak, dan metrik klasifikasi untuk menjalankan eksperimen tertentu.

Metrik ringkasan

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
• experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Parameter

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
• experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Metrik deret waktu

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
• experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Artefak

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
• experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Metrik klasifikasi

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
• experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Membandingkan operasi

Dengan Vertex AI SDK untuk Python, Anda dapat mengambil data yang terkait dengan eksperimen Anda. Data untuk eksperimen yang berjalan ditampilkan dalam DataFrame.

Membandingkan operasi

Data untuk eksperimen yang berjalan ditampilkan dalam DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• experiment_name: Berikan nama untuk eksperimen. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
• project: Project ID Anda. Anda dapat menemukan ID ini di halaman sambutan Konsol Google Cloud.
• location: Lihat Daftar lokasi yang tersedia.

Konsol Google Cloud

Gunakan konsol Google Cloud untuk melihat detail eksperimen yang dijalankan dan membandingkan eksperimen yang dijalankan satu sama lain.

Melihat data operasi eksperimen

1. Di Konsol Google Cloud, buka halaman Experiments.
   Buka Eksperimen.
   Daftar eksperimen yang terkait dengan project akan muncul.
2. Pilih eksperimen berisi hasil yang ingin Anda periksa.
   Daftar run, diagram data deret waktu, serta tabel data metrik dan parameter akan muncul. Perhatikan, dalam hal ini, tiga operasi akan dipilih, tetapi hanya dua baris yang muncul di diagram data deret waktu. Tidak ada baris ketiga karena eksperimen ketiga yang berjalan tidak memiliki data deret waktu untuk ditampilkan.
   
   
3. Klik nama operasi untuk membuka halaman detailnya.
   
   Diagram menu navigasi dan diagram data deret waktu akan muncul.
   
4. Untuk melihat metrik, parameter, artefak, dan detail untuk operasi yang Anda pilih, klik tombol masing-masing di menu navigasi.
   • Metrik
     
   • Parameter
     
   • Artefak
     
     Untuk melihat silsilah artefak, klik link Buka artefak di Penyimpanan Metadata. Grafik silsilah yang terkait dengan operasi akan muncul.
     
   • Detail
     

Untuk membagikan data kepada orang lain, gunakan URL yang terkait dengan tampilan tersebut. Misalnya, bagikan daftar operasi eksperimen yang terkait dengan eksperimen:

Membandingkan operasi eksperimen

Anda dapat memilih operasi untuk membandingkan baik di dalam eksperimen maupun di seluruh eksperimen.

1. Di Konsol Google Cloud, buka halaman Experiments.
   Buka Eksperimen.
   Daftar eksperimen akan muncul.
2. Pilih eksperimen yang berisi hasil yang ingin dibandingkan. Daftar operasi akan muncul.
3. Pilih eksperimen yang ingin dibandingkan. Klik Bandingkan.
   
   Secara default, diagram akan muncul untuk membandingkan metrik deret waktu dari eksperimen yang dipilih.
4. Untuk menambahkan operasi lainnya dari eksperimen mana pun di project Anda, klik Add run.

Untuk membagikan data kepada orang lain, gunakan URL yang terkait dengan tampilan tersebut. Misalnya, bagikan tampilan perbandingan data metrik deret waktu:

Lihat Membuat dan mengelola eksperimen yang berjalan untuk mengetahui cara memperbarui status operasi.

Langkah berikutnya

• Melacak eksekusi dan artefak