Mengelola Vertex ML Metadata

Panduan ini menunjukkan cara mengelola Metadata Vertex ML Anda.

Sebelum memulai

Saat pertama kali menggunakan Vertex ML Metadata di project Google Cloud, Vertex AI akan membuat penyimpanan metadata project Anda.

Jika ingin metadata Anda dienkripsi menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), Anda harus membuat penyimpanan metadata menggunakan CMEK sebelum menggunakan Vertex ML Metadata untuk melacak atau menganalisis metadata. Gunakan petunjuk membuat penyimpanan metadata yang menggunakan CMEK untuk mengonfigurasi penyimpanan metadata project Anda.

Pengelolaan artefak

Membuat artefak

Gunakan REST atau Vertex AI SDK untuk Python untuk membuat artefak.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat artefaknya dibuat. Penyimpanan metadata default diberi nama default.
  • ARTIFACT_ID: (Opsional) ID catatan artefak. Jika ID artefak tidak ditentukan, Vertex ML Metadata akan membuat ID unik untuk artefak ini.
  • DISPLAY_NAME: (Opsional) Nama artefak yang ditentukan pengguna.
  • URI: (Opsional) Lokasi tempat artefak disimpan
  • ARTIFACT_STATE: (Opsional) Nilai dari Enumerasi status yang mewakili status artefak saat ini. Kolom ini dikelola oleh aplikasi klien. Vertex ML Metadata tidak memeriksa validitas transisi status.
  • METADATA_SCHEMA_TITLE: Judul skema yang mendeskripsikan kolom metadata. Judul skema harus memenuhi format `.`. Namespace harus diawali dengan huruf kecil, dapat berisi karakter huruf kecil dan angka, serta panjangnya dua hingga dua puluh karakter. Nama skema harus dimulai dengan huruf besar, dapat berisi huruf dan angka, dan dapat berisi dua hingga empat puluh sembilan karakter.
  • METADATA_SCHEMA_VERSION: (Opsional) Versi skema yang mendeskripsikan kolom metadata. schema_version harus berupa string berisi tiga angka yang dipisahkan titik, misalnya 1.0.0, 1.0.1. Format ini membantu mengurutkan dan membandingkan versi.
  • METADATA: (Opsional.) Properti yang mendeskripsikan artefak, seperti jenis set data.
  • DESCRIPTION: (Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan eksekusi yang akan dibuat.
  • LABELS:Opsional. Metadata yang ditentukan pengguna untuk mengatur artefak Anda.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID

Meminta isi JSON: 

{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
  "displayName": "Example artifact",
  "uri": "gs://your_bucket_name/artifacts/dataset.csv",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:29:24.344Z",
  "updateTime": "2021-05-18T00:29:24.344Z",
  "state": "LIVE",
  "schemaTitle": "system.Dataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "payload_format": "CSV"
  },
  "description": "Description of the example artifact."
}

Python

Python

def create_artifact_sample(
    project: str,
    location: str,
    uri: Optional[str] = None,
    artifact_id: Optional[str] = None,
    display_name: Optional[str] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
    metadata: Optional[Dict] = None,
):
    system_artifact_schema = artifact_schema.Artifact(
        uri=uri,
        artifact_id=artifact_id,
        display_name=display_name,
        schema_version=schema_version,
        description=description,
        metadata=metadata,
    )
    return system_artifact_schema.create(project=project, location=location,)
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.
  • uri: (Opsional) Uniform Resource Identifier untuk file artefak jika ada. Dapat kosong jika tidak ada file artefak yang sebenarnya.
  • artifact_id: (Opsional) ID catatan artefak. Jika ID artefak tidak ditentukan, Vertex ML Metadata akan membuat ID unik untuk artefak ini.
  • display_name: (Opsional) Nama artefak yang ditentukan pengguna.
  • schema_version: Versi skema yang mendeskripsikan kolom metadata.
  • description: (Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan artefak yang akan dibuat.
  • metadata: Properti yang mendeskripsikan artefak, seperti parameter artefak.

Mencari artefak yang ada

Artefak mewakili data yang digunakan atau dihasilkan oleh alur kerja ML Anda, seperti set data dan model. Untuk mencari artefak yang ada, gunakan REST atau Vertex AI SDK untuk Python.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat artefaknya dibuat. Penyimpanan metadata default diberi nama default.
  • PAGE_SIZE: (Opsional) Jumlah maksimum artefak yang akan ditampilkan. Jika nilai ini tidak ditentukan, maka layanan akan menampilkan maksimum 100 data.
  • PAGE_TOKEN: (Opsional) Token halaman dari panggilan MetadataService.ListArtifacts sebelumnya. Tentukan token ini untuk mendapatkan halaman hasil berikutnya.

  • FILTER: Menentukan kondisi yang diperlukan untuk menyertakan artefak dalam kumpulan hasil.

Metode HTTP dan URL: 

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. ARTIFACT_ID adalah ID dari kumpulan data artefak.

{
  "artifacts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
      "displayName": "Example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset.csv",
      "etag": "67891011",
      "createTime": "2021-05-18T00:33:13.833Z",
      "updateTime": "2021-05-18T00:33:13.833Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the example artifact."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "displayName": "Another example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset-2.csv",
      "etag": "67891012",
      "createTime": "2021-05-18T00:29:24.344Z",
      "updateTime": "2021-05-18T00:29:24.344Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the other example artifact."
    }
  ]
}

Python

Python

def list_artifact_sample(
    project: str,
    location: str,
    display_name_filter: Optional[str] = "display_name=\"my_model_*\"",
    create_date_filter: Optional[str] = "create_time>\"2022-06-11\"",
    order_by: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    combined_filters = f"{display_name_filter} AND {create_date_filter}"
    return aiplatform.Artifact.list(
        filter=combined_filters,
        order_by=order_by,
    )
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.
  • display_name_filter: Filter yang akan diterapkan ke nama tampilan pada saat mencantumkan resource dengan format "display_name=\"my_filter\"" .
  • create_date_filter: Filter yang akan diterapkan ke nama create_date saat mencantumkan resource dengan format "create_time>\"2022-06-11T12:30:00-08:00\"",.

Menghapus artefak yang ada

Gunakan REST atau Vertex AI SDK untuk Python guna menghapus artefak.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat artefaknya dibuat. Penyimpanan metadata default diberi nama default.
  • ARTIFACT_ID: ID data artefak yang akan dihapus.

Metode HTTP dan URL: 

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

def delete_artifact_sample(
    artifact_id: str,
    project: str,
    location: str,
):
    artifact = aiplatform.Artifact.get(
        resource_id=artifact_id, project=project, location=location
    )
    artifact.delete()

Menghapus permanen artefak

Gunakan petunjuk berikut untuk menghapus beberapa artefak berdasarkan kondisi filter.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat artefaknya dibuat. Penyimpanan metadata default diberi nama default.
  • FILTER: Menentukan kondisi yang diperlukan oleh artefak yang akan dihapus. Contoh:
    • Filter untuk semua artefak yang berisi example dalam nama tampilan: "display_name = \"*example*\"".
    • Filter untuk semua artefak yang dibuat sebelum 2020-11-19T11:30:00-04:00: "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE: Menunjukkan apakah akan melakukan penghapusan permanen yang sebenarnya atau tidak. Jika flag disetel ke salah (false), metode ini akan menampilkan sampel nama artefak yang akan dihapus.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts:purge

Meminta isi JSON: 

{
  "filter": "FILTER",
  "force": FORCE
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeArtifactsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:33.757991Z",
      "updateTime": "2021-07-21T21:02:33.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeArtifactsResponse",
    "purgeCount": "15"
  }
}

Pengelolaan eksekusi

Membuat eksekusi

Eksekusi mewakili satu langkah dalam alur kerja ML Anda. Gunakan REST atau Vertex AI SDK untuk Python untuk membuat eksekusi.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat eksekusinya dibuat. Penyimpanan metadata default diberi nama default.
  • EXECUTION_ID: ID data eksekusi. Jika ID eksekusi tidak ditentukan, Vertex ML Metadata akan membuat ID unik untuk eksekusi ini.
  • DISPLAY_NAME: Nama tampilan eksekusi. Kolom ini dapat berisi hingga 128 karakter Unicode.
  • EXECUTION_STATE: (Opsional) Nilai dari Enumerasi status yang mewakili status eksekusi saat ini. Kolom ini dikelola oleh aplikasi klien. Vertex ML Metadata tidak memeriksa validitas transisi status.
  • METADATA_SCHEMA_TITLE: Judul skema yang mendeskripsikan kolom metadata. Judul skema harus memenuhi format `.`. Namespace harus diawali dengan huruf kecil, dapat berisi karakter huruf kecil dan angka, serta panjangnya dua hingga dua puluh karakter. Nama skema harus dimulai dengan huruf besar, dapat berisi huruf dan angka, dan dapat berisi dua hingga empat puluh sembilan karakter.
  • METADATA_SCHEMA_VERSION: (Opsional) Versi skema yang mendeskripsikan kolom metadata. schema_version harus berupa string berisi tiga angka yang dipisahkan titik, misalnya 1.0.0, 1.0.1. Format ini membantu mengurutkan dan membandingkan versi.
  • METADATA: (Opsional) Properti yang mendeskripsikan eksekusi, seperti parameter eksekusi.
  • DESCRIPTION: (Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan eksekusi yang akan dibuat.
  • LABELS: Opsional. Metadata yang ditentukan pengguna untuk mengatur eksekusi Anda.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID

Meminta isi JSON: 

{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
  "displayName": "Example Execution",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:04:49.659Z",
  "updateTime": "2021-05-18T00:04:49.659Z",
  "schemaTitle": "system.Run",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example execution."
}

Python

Python

def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution
  • display_name: Nama tampilan eksekusi. Kolom ini dapat berisi hingga 128 karakter Unicode.
  • input_artifacts: Daftar dari satu atau beberapa instance aiplatform.Artifact yang mewakili artefak input.
  • output_artifacts: Daftar dari satu atau beberapa instance aiplatform.Artifact yang mewakili Artefak output.
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.
  • execution_id: ID data eksekusi. Jika ID eksekusi tidak ditentukan, Vertex ML Metadata akan membuat ID unik untuk eksekusi ini.
  • metadata: Properti yang mendeskripsikan eksekusi, seperti parameter eksekusi.
  • schema_version:Versi skema yang mendeskripsikan kolom metadata.
  • description: (Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan eksekusi yang akan dibuat.

Mencari eksekusi yang ada

Gunakan REST atau Vertex AI SDK untuk Python untuk mencari eksekusi yang ada.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat eksekusinya dibuat. Penyimpanan metadata default diberi nama default.
  • PAGE_SIZE: (Opsional) Jumlah maksimum artefak yang akan ditampilkan. Jika nilai ini tidak ditentukan, maka layanan akan menampilkan maksimum 100 data.
  • PAGE_TOKEN: (Opsional) Token halaman dari panggilan MetadataService.ListArtifacts sebelumnya. Tentukan token ini untuk mendapatkan halaman hasil berikutnya.

  • FILTER: Menentukan kondisi yang diperlukan untuk menyertakan eksekusi dalam kumpulan hasil.

Metode HTTP dan URL: 

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. EXECUTION_ID adalah ID data eksekusi.

{
  "executions": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
      "displayName": "Example execution 1",
      "etag": "67891011",
      "createTime": "2021-05-18T00:06:56.177Z",
      "updateTime": "2021-05-18T00:06:56.177Z",
      "schemaTitle": "system.Run",
      "schemaVersion": "0.0.1",
      "metadata": {},
      "description": "Description of the example execution."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
      "displayName": "Example execution 2",
      "etag": "67891011",
      "createTime": "2021-05-18T00:04:49.659Z",
      "updateTime": "2021-05-18T00:04:49.659Z",
      "schemaTitle": "system.Run",
      "schemaVersion": "0.0.1",
      "metadata": {},
      "description": "Description of the example execution."
    }
  ]
}

Python

Python

def get_execution_sample(
    execution_id: str,
    project: str,
    location: str,
):
    execution = aiplatform.Execution.get(
        resource_id=execution_id, project=project, location=location
    )

    return execution

Menghapus eksekusi yang ada

Gunakan REST atau Vertex AI SDK untuk Python guna menghapus eksekusi.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat eksekusinya dibuat. Penyimpanan metadata default diberi nama default.
  • EXECUTION_ID: ID data eksekusi yang akan dihapus.

Metode HTTP dan URL: 

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

def delete_execution_sample(
    execution_id: str,
    project: str,
    location: str,
):
    execution = aiplatform.Execution.get(
        resource_id=execution_id, project=project, location=location
    )
    execution.delete()

Menghapus permanen eksekusi

Untuk menghapus beberapa eksekusi berdasarkan filter, gunakan petunjuk berikut.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat eksekusinya dibuat. Penyimpanan metadata default diberi nama default.
  • FILTER: Menentukan kondisi yang diperlukan oleh eksekusi yang akan dihapus. Contoh:
    • Filter untuk semua eksekusi yang berisi example dalam nama tampilan: "display_name = \"*example*\"".
    • Filter untuk semua eksekusi yang dibuat sebelum 2020-11-19T11:30:00-04:00: "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE: Menunjukkan apakah akan melakukan penghapusan permanen yang sebenarnya atau tidak. Jika flag disetel ke salah (false), metode ini akan menampilkan sampel nama artefak yang akan dihapus.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions:purge

Meminta isi JSON: 

{
  "filter": "FILTER",
  "force": FORCE
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeExecutionsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:45.757991Z",
      "updateTime": "2021-07-21T21:02:45.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeExecutionsResponse",
    "purgeCount": "2"
  }
}

Pengelolaan konteks

Membuat konteks

Konteks memungkinkan Anda mengelompokkan kumpulan artefak dan eksekusi. Gunakan REST atau Vertex AI SDK untuk Python guna membuat konteks.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE:ID penyimpanan metadata tempat eksekusinya dibuat. Penyimpanan metadata default diberi nama default.
  • CONTEXT_ID: (Opsional) ID data konteks. Jika ID konteks tidak ditentukan, Vertex ML Metadata akan membuat ID unik untuk konteks ini
  • DISPLAY_NAME: Nama tampilan konteks. Kolom ini dapat berisi hingga 128 karakter Unicode.
  • PARENT_CONTEXT: Menentukan nama resource untuk konteks induk apa pun. Konteks tidak boleh memiliki lebih dari 10 konteks induk.
  • METADATA_SCHEMA_TITLE: Judul skema yang mendeskripsikan kolom metadata. Judul skema harus memenuhi format `.`. Namespace harus diawali dengan huruf kecil, dapat berisi karakter huruf kecil dan angka, serta panjangnya dua hingga dua puluh karakter. Nama skema harus dimulai dengan huruf besar, dapat berisi huruf dan angka, dan dapat berisi dua hingga empat puluh sembilan karakter.
  • METADATA_SCHEMA_VERSION: (Opsional) Versi skema yang mendeskripsikan kolom metadata. schema_version harus berupa string berisi tiga angka yang dipisahkan titik, misalnya 1.0.0, 1.0.1. Format ini membantu mengurutkan dan membandingkan versi.
  • METADATA: Properti yang mendeskripsikan konteks, seperti parameter konteks.
  • DESCRIPTION:(Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan eksekusi yang akan dibuat.
  • LABELS: Opsional. Metadata yang ditentukan pengguna untuk mengatur konteks Anda.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID

Meminta isi JSON: 

{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. CONTEXT_ID adalah ID data konteks.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
  "displayName": "Example context:",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T01:52:51.642Z",
  "updateTime": "2021-05-18T01:52:51.642Z",
  "schemaTitle": "system.Experiment",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example context."
}

Python

Python

def create_context_sample(
    display_name: str,
    project: str,
    location: str,
    context_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    return context_schema.Experiment(
        display_name=display_name,
        context_id=context_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create()
  • display_name: Nama tampilan konteks. Kolom ini dapat berisi hingga 128 karakter Unicode.
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman welcome Google Cloud Console.
  • location: Lihat Daftar lokasi yang tersedia.
  • context_id: (Opsional) ID data konteks.
  • metadata: Properti yang mendeskripsikan konteks, seperti parameter konteks.
  • schema_version: Versi skema yang mendeskripsikan kolom metadata.
  • description: (Opsional) String yang dapat dibaca manusia, yang menjelaskan tujuan konteks dibuat.

Mencari konteks yang ada

Gunakan REST atau Vertex AI SDK untuk Python untuk mencari konteks yang ada.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat konteks dibuat. Penyimpanan metadata default diberi nama default.
  • PAGE_SIZE: (Opsional) Jumlah maksimum artefak yang akan ditampilkan. Jika nilai ini tidak ditentukan, maka layanan akan menampilkan maksimum 100 data.
  • PAGE_TOKEN: (Opsional) Token halaman dari panggilan MetadataService.ListArtifacts sebelumnya. Tentukan token ini untuk mendapatkan halaman hasil berikutnya.

  • FILTER: Menentukan kondisi yang diperlukan untuk menyertakan konteks dalam kumpulan hasil.

Metode HTTP dan URL: 

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. CONTEXT_ID adalah ID data konteks.

{
  "contexts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
      "displayName": "Experiment 1",
      "etag": "67891011",
      "createTime": "2021-05-18T22:36:02.153Z",
      "updateTime": "2021-05-18T22:36:02.153Z",
      "parentContexts": [],
      "schemaTitle": "system.Experiment",
      "schemaVersion": "0.0.1",
      "metadata": {}
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
      "displayName": "Pipeline run 1",
      "etag": "67891011",
      "createTime": "2021-05-18T22:35:02.600Z",
      "updateTime": "2021-05-18T22:35:02.600Z",
      "parentContexts": [],
      "schemaTitle": "system.PipelineRun",
      "schemaVersion": "0.0.1",
      "metadata": {}
    }
  ]
}

Python

Python

def get_context_sample(
    context_id: str,
    project: str,
    location: str,
):
    context = aiplatform.Context.get(
        resource_id=context_id, project=project, location=location)
    return context

Menghapus konteks yang ada

Gunakan REST atau Vertex AI SDK untuk Python guna menghapus konteks.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE: ID penyimpanan metadata tempat konteks dibuat. Penyimpanan metadata default diberi nama default.
  • CONTEXT_ID: (Opsional) ID data konteks tersebut.

Metode HTTP dan URL: 

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID

Untuk mengirim permintaan, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

def delete_context_sample(
    context_id: str,
    project: str,
    location: str,
):
    context = aiplatform.Context.get(
        resource_id=context_id, project=project, location=location
    )
    context.delete()

Menghapus permanen konteks

Gunakan petunjuk berikut untuk menghapus beberapa konteks berdasarkan kondisi filter.

REST

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION_ID: Region Anda.
  • PROJECT_ID: Project ID Anda.
  • METADATA_STORE:ID penyimpanan metadata tempat konteks dibuat. Penyimpanan metadata default diberi nama default.
  • FILTER: Menentukan kondisi yang diperlukan oleh konteks yang akan dihapus. Contoh:
    • Filter untuk semua konteks yang berisi example dalam nama tampilan: "display_name = \"*example*\"".
    • Filter untuk semua konteks yang dibuat sebelum 2020-11-19T11:30:00-04:00: "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE: Menunjukkan apakah akan melakukan penghapusan permanen yang sebenarnya atau tidak. Jika tanda ini disetel ke salah (false), metode ini akan menampilkan contoh nama konteks yang akan dihapus.

Metode HTTP dan URL: 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts:purge

Meminta isi JSON: 

{
  "filter": "FILTER",
  "force": FORCE
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

Anda akan melihat output yang mirip dengan berikut ini. Anda dapat menggunakan OPERATION_ID sebagai respons untuk mendapatkan status operasi.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeContextsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:40.757991Z",
      "updateTime": "2021-07-21T21:02:40.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeContextsResponse",
    "purgeCount": "5"
  }
}

Langkah selanjutnya