Membandingkan dan menganalisis operasi

Anda dapat menggunakan Vertex AI SDK untuk Python guna melihat Vertex AI Experiments yang menjalankan data dan membandingkan prosesnya.

Konsol Google Cloud memberikan visualisasi data yang terkait dengan operasi ini.

Mendapatkan data percobaan yang dijalankan

Contoh ini mencakup cara mendapatkan metrik operasi, parameter operasi, metrik deret runtime, artefak, dan metrik klasifikasi untuk menjalankan eksperimen tertentu.

Metrik ringkasan

Python

def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

  • run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
  • experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Parameter

Python

def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

  • run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
  • experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Metrik deret waktu

Python

def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

  • run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
  • experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Artefak

Python

def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()
  • run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
  • experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Metrik klasifikasi

Python

def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

  • run_name: Menentukan nama operasi yang sesuai untuk sesi ini.
  • experiment: Nama atau instance eksperimen ini. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukannya di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Membandingkan operasi

Dengan Vertex AI SDK untuk Python, Anda dapat mengambil data yang terkait dengan eksperimen Anda. Data untuk eksperimen yang berjalan ditampilkan dalam DataFrame.

Membandingkan operasi

Data untuk eksperimen yang berjalan ditampilkan dalam DataFrame.

Python

def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

  • experiment_name: Berikan nama untuk eksperimen. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.

Konsol Google Cloud

Gunakan konsol Google Cloud untuk melihat detail eksperimen yang dijalankan dan membandingkan eksperimen yang dijalankan satu sama lain.

Melihat data operasi eksperimen

  1. Di Konsol Google Cloud, buka halaman Eksperimen.
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">Buka Experiments.
    Daftar eksperimen yang terkait dengan project akan muncul. </a{:>
  2. Pilih eksperimen berisi hasil yang ingin Anda periksa.
    Daftar run, diagram data deret waktu, serta tabel data metrik dan parameter akan muncul. Perhatikan, dalam hal ini, tiga operasi akan dipilih, tetapi hanya dua baris yang muncul di diagram data deret waktu. Tidak ada baris ketiga karena eksperimen ketiga yang berjalan tidak memiliki data deret waktu untuk ditampilkan.
    Daftar operasi, data deret waktu, serta tabel metrik & parameter Vertex AI
  3. Klik nama operasi untuk membuka halaman detailnya.
    Navigasi operasi eksperimen Vertex AI
    Diagram menu navigasi dan diagram data deret waktu akan muncul.
    Menu navigasi Vertex AI dengan diagram data deret waktu
  4. Untuk melihat metrik, parameter, artefak, dan detail untuk operasi yang Anda pilih, klik tombol masing-masing di menu navigasi.
    • Metrik
      Metrik berjalannya eksperimen Vertex AI
    • Parameter
      Parameter operasi eksperimen Vertex AI
    • Artefak
      Artegak operasi eksperimen Vertex AI
      Untuk melihat silsilah artefak, klik link Buka artefak di Penyimpanan Metadata. Grafik silsilah yang terkait dengan operasi akan muncul.
      Grafik silsilah artefak Vertex AI
    • Detail
      Detail operasi eksperimen Vertex AI

Untuk membagikan data kepada orang lain, gunakan URL yang terkait dengan tampilan tersebut. Misalnya, bagikan daftar operasi eksperimen yang terkait dengan eksperimen:

Daftar operasi Vertex AI

Membandingkan operasi eksperimen

Anda dapat memilih operasi untuk membandingkan baik di dalam eksperimen maupun di seluruh eksperimen.

  1. Di Konsol Google Cloud, buka halaman Eksperimen.
    <a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="V3Ae1hvcBOij4KvUNiRrMltigmNHgUGOXn/QVSGplOhBlpxunv8WHL3F/z3VuS9rwbZOYpOQCXa+v4aZ0dt03w==" target="console" track-name="consoleLink" track-type="tasks" }="">Buka Experiments.
    Daftar eksperimen akan muncul. </a{:>
  2. Pilih eksperimen yang berisi hasil yang ingin dibandingkan. Daftar operasi akan muncul. Daftar operasi Vertex AI
  3. Pilih eksperimen yang ingin dibandingkan. Klik Bandingkan.
    Operasi pemilihan Vertex AI
    Secara default, diagram akan muncul untuk membandingkan metrik deret waktu dari eksperimen yang dipilih. Diagram operasi Vertex AI
  4. Untuk menambahkan operasi lainnya dari eksperimen mana pun di project Anda, klik Add run. Operasi tambahkan Vertex AI

Untuk membagikan data kepada orang lain, gunakan URL yang terkait dengan tampilan tersebut. Misalnya, bagikan tampilan perbandingan data metrik deret waktu:

Berbagi data Vertex AI

Lihat Membuat dan mengelola eksperimen yang berjalan untuk mengetahui cara memperbarui status operasi.

Langkah selanjutnya