Gérer les ressources Vertex ML Metadata

Ce guide explique comment gérer vos ressources Vertex ML Metadata.

Avant de commencer

La première fois que vous utilisez Vertex ML Metadata dans un projet Google Cloud, Vertex AI crée le magasin de métadonnées de votre projet.

Si vous souhaitez que vos métadonnées soient chiffrées à l'aide d'une clé de chiffrement gérée par le client (CMEK), vous devez créer votre magasin de métadonnées à l'aide d'une clé CMEK avant d'utiliser Vertex ML Metadata pour suivre ou analyser les métadonnées. Pour obtenir des instructions sur la configuration du magasin de métadonnées de votre projet, consultez la section Créer un magasin de métadonnées utilisant une clé CMEK.

Gestion des artefacts

Créer un artefact

Utilisez REST ou le SDK Vertex AI pour Python pour créer un artefact.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'artefact est créé. Le magasin de métadonnées par défaut s'appelle default.
  • ARTIFACT_ID : (facultatif) ID de l'enregistrement de l'artefact. Si l'ID d'artefact n'est pas spécifié, Vertex ML Metadata crée un identifiant unique pour cet artefact.
  • DISPLAY_NAME : (facultatif) nom défini par l'utilisateur pour l'artefact.
  • URI : (facultatif) emplacement de stockage de l'artefact.
  • ARTIFACT_STATE : (facultatif) valeur de l'énumération State qui représente l'état actuel de l'artefact. Ce champ est géré par les applications clientes. Vertex ML Metadata ne vérifie pas la validité des transitions d'état.
  • METADATA_SCHEMA_TITLE : titre du schéma décrivant le champ de métadonnées. Le titre du schéma doit respecter le format ".". L'espace de noms doit commencer par une lettre minuscule, peut contenir des lettres minuscules et des chiffres, et peut comporter de 2 à 20 caractères. Le nom du schéma doit commencer par une lettre majuscule, peut inclure des lettres et des chiffres, et peut comporter de 2 à 49 caractères.
  • METADATA_SCHEMA_VERSION : version du schéma décrivant le champ de métadonnées. schema_version doit être une chaîne de trois nombres séparés par des points, par exemple : 1.0.0, 1.0.1. Ce format permet de trier et de comparer les versions.
  • METADATA : (Facultatif) Propriétés décrivant l'artefact, telles que le type de l'ensemble de données.
  • DESCRIPTION : (facultatif) chaîne lisible qui décrit l'objectif de l'exécution à créer.
  • LABELS : facultatif. Métadonnées définies par l'utilisateur pour l'organisation de vos artefacts.

Méthode HTTP et URL : 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID

Corps JSON de la requête :

{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}

Pour envoyer votre requête, développez l'une des options suivantes :

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
  "displayName": "Example artifact",
  "uri": "gs://your_bucket_name/artifacts/dataset.csv",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:29:24.344Z",
  "updateTime": "2021-05-18T00:29:24.344Z",
  "state": "LIVE",
  "schemaTitle": "system.Dataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "payload_format": "CSV"
  },
  "description": "Description of the example artifact."
}

Python

Python

from typing import Dict, Optional

from google.cloud.aiplatform.metadata.schema.system import artifact_schema


def create_artifact_sample(
    project: str,
    location: str,
    uri: Optional[str] = None,
    artifact_id: Optional[str] = None,
    display_name: Optional[str] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
    metadata: Optional[Dict] = None,
):
    system_artifact_schema = artifact_schema.Artifact(
        uri=uri,
        artifact_id=artifact_id,
        display_name=display_name,
        schema_version=schema_version,
        description=description,
        metadata=metadata,
    )
    return system_artifact_schema.create(project=project, location=location,)
  • project : l'ID de votre projet. Vous pouvez trouver ces ID sur la page d'accueil de la console Google Cloud.
  • location : Consultez la liste des emplacements disponibles.
  • uri (facultatif) : identifiant de ressource uniforme pour le fichier d'artefact, le cas échéant. Peut être vide s'il n'y a pas de fichier d'artefact.
  • artifact_id : (facultatif) ID de l'enregistrement de l'artefact. Si l'ID d'artefact n'est pas spécifié, Vertex ML Metadata crée un identifiant unique pour cet artefact.
  • display_name : (facultatif) nom défini par l'utilisateur pour l'artefact.
  • schema_version : version du schéma décrivant le champ de métadonnées.
  • description : (facultatif) chaîne lisible qui décrit l'objectif de l'artefact à créer.
  • metadata : propriétés décrivant l'artefact, telles que ses paramètres.

Rechercher un artefact existant

Les artefacts correspondent aux données utilisées ou créées par votre workflow de ML, telles que les ensembles de données et les modèles. Pour rechercher un artefact existant, utilisez REST ou le SDK Vertex AI pour Python.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'artefact est créé. Le magasin de métadonnées par défaut s'appelle default.
  • PAGE_SIZE : (facultatif) nombre maximal d'artefacts à renvoyer. Si cette valeur n'est pas spécifiée, le service renvoie un maximum de 100 enregistrements.
  • PAGE_TOKEN : (facultatif) jeton de page reçu d'un appel de MetadataService.ListArtifacts précédent. Spécifiez ce jeton pour obtenir la page de résultats suivante.

  • FILTER : spécifie les conditions requises pour inclure un artefact dans l'ensemble de résultats.

Méthode HTTP et URL :

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : ARTIFACT_ID est l'ID de l'enregistrement de l'artefact.

{
  "artifacts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
      "displayName": "Example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset.csv",
      "etag": "67891011",
      "createTime": "2021-05-18T00:33:13.833Z",
      "updateTime": "2021-05-18T00:33:13.833Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the example artifact."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "displayName": "Another example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset-2.csv",
      "etag": "67891012",
      "createTime": "2021-05-18T00:29:24.344Z",
      "updateTime": "2021-05-18T00:29:24.344Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the other example artifact."
    }
  ]
}

Python

Python

from typing import Optional

from google.cloud import aiplatform


def list_artifact_sample(
    project: str,
    location: str,
    display_name_filter: Optional[str] = "display_name=\"my_model_*\"",
    create_date_filter: Optional[str] = "create_time>\"2022-06-11\"",
    order_by: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    combined_filters = f"{display_name_filter} AND {create_date_filter}"
    return aiplatform.Artifact.list(
        filter=combined_filters,
        order_by=order_by,
    )
  • project : l'ID de votre projet. Vous pouvez trouver ces ID sur la page d'accueil de la console Google Cloud.
  • location : Consultez la liste des emplacements disponibles.
  • display_name_filter : filtre à appliquer au nom à afficher lors de la création d'une liste des ressources au format "display_name=\"my_filter\".
  • create_date_filter : filtre à appliquer au nom create_date lors de la création d'une liste des ressources au format "create_time>\"2022-06-11T12:30:00-08:00\".

Supprimer un artefact existant

Utilisez REST ou le SDK Vertex AI pour Python pour supprimer un artefact.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'artefact est créé. Le magasin de métadonnées par défaut s'appelle default.
  • ARTIFACT_ID : ID d'enregistrement de l'artefact à supprimer.

Méthode HTTP et URL :

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

from google.cloud import aiplatform


def delete_artifact_sample(
    artifact_id: str,
    project: str,
    location: str,
):
    artifact = aiplatform.Artifact.get(
        resource_id=artifact_id, project=project, location=location
    )
    artifact.delete()

Supprimer définitivement des artefacts

Suivez les instructions ci-dessous pour supprimer plusieurs artefacts en fonction d'une condition de filtre.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'artefact est créé. Le magasin de métadonnées par défaut s'appelle default.
  • FILTER : spécifie les conditions requises par les artefacts à supprimer. Exemple :
    • Filtres pour tous les artefacts contenant example dans le nom à afficher : "display_name = \"*example*\"".
    • Filtres pour tous les artefacts créés avant le 19/11/2020 entre 11:30:00 et 04:00 : "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE : indique si l'opération doit être effectuée ou non. Si l'option est définie sur "false", la méthode renvoie un échantillon de noms d'artefacts qui seront supprimés.

Méthode HTTP et URL :

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts:purge

Corps JSON de la requête :

{
  "filter": "FILTER",
  "force": FORCE
}

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeArtifactsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:33.757991Z",
      "updateTime": "2021-07-21T21:02:33.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeArtifactsResponse",
    "purgeCount": "15"
  }
}

Gestion de l'exécution

Créer une exécution

Les exécutions représentent une étape de votre workflow de ML. Utilisez REST ou le SDK Vertex AI pour Python pour créer une exécution.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'exécution est créée. Le magasin de métadonnées par défaut s'appelle default.
  • EXECUTION_ID : ID de l'enregistrement d'exécution. Si l'ID d'exécution n'est pas spécifié, Vertex ML Metadata crée un identifiant unique pour cette exécution.
  • DISPLAY_NAME : nom à afficher de l'exécution. Ce champ peut contenir jusqu'à 128 caractères Unicode.
  • EXECUTION_STATE : (facultatif) valeur de l'énumération State qui représente l'état actuel de l'exécution. Ce champ est géré par les applications clientes. Vertex ML Metadata ne vérifie pas la validité des transitions d'état.
  • METADATA_SCHEMA_TITLE : titre du schéma décrivant le champ de métadonnées. Le titre du schéma doit respecter le format ".". L'espace de noms doit commencer par une lettre minuscule, peut contenir des lettres minuscules et des chiffres, et peut comporter de 2 à 20 caractères. Le nom du schéma doit commencer par une lettre majuscule, peut inclure des lettres et des chiffres, et peut comporter de 2 à 49 caractères.
  • METADATA_SCHEMA_VERSION : version du schéma décrivant le champ de métadonnées. schema_version doit être une chaîne de trois nombres séparés par des points, par exemple : 1.0.0, 1.0.1. Ce format permet de trier et de comparer les versions.
  • METADATA : (facultatif) propriétés décrivant l'exécution, telles que les paramètres d'exécution.
  • DESCRIPTION : (facultatif) chaîne lisible qui décrit l'objectif de l'exécution à créer.
  • LABELS : facultatif. Métadonnées définies par l'utilisateur pour l'organisation de vos exécutions.

Méthode HTTP et URL : 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID

Corps JSON de la requête :

{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

Pour envoyer votre requête, développez l'une des options suivantes :

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
  "displayName": "Example Execution",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:04:49.659Z",
  "updateTime": "2021-05-18T00:04:49.659Z",
  "schemaTitle": "system.Run",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example execution."
}

Python

Python

from typing import Any, Dict, List, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import execution_schema


def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution
  • display_name : nom à afficher de l'exécution. Ce champ peut contenir jusqu'à 128 caractères Unicode.
  • input_artifacts : liste d'une ou de plusieurs instances d'aiplatform.Artifact représentant un artefact d'entrée.
  • output_artifacts : liste d'une ou de plusieurs instances d'aiplatform.Artifact représentant un artefact de sortie.
  • project : l'ID de votre projet. Vous pouvez trouver ces ID sur la page d'accueil de la console Google Cloud.
  • location : Consultez la liste des emplacements disponibles.
  • execution_id : ID de l'enregistrement d'exécution. Si l'ID d'exécution n'est pas spécifié, Vertex ML Metadata crée un identifiant unique pour cette exécution.
  • metadata : propriétés décrivant l'exécution, telles que les paramètres d'exécution.
  • schema_version : version du schéma décrivant le champ de métadonnées.
  • description : (facultatif) chaîne lisible qui décrit l'objectif de l'exécution à créer.

Rechercher une exécution existante

Utilisez REST ou le SDK Vertex AI pour Python pour rechercher une exécution existante.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'exécution est créée. Le magasin de métadonnées par défaut s'appelle default.
  • PAGE_SIZE : (facultatif) nombre maximal d'artefacts à renvoyer. Si cette valeur n'est pas spécifiée, le service renvoie un maximum de 100 enregistrements.
  • PAGE_TOKEN : (facultatif) jeton de page reçu d'un appel de MetadataService.ListArtifacts précédent. Spécifiez ce jeton pour obtenir la page de résultats suivante.

  • FILTER : spécifie les conditions requises pour inclure une exécution dans l'ensemble de résultats.

Méthode HTTP et URL :

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : EXECUTION_ID est l'ID de l'enregistrement d'exécution.

{
  "executions": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
      "displayName": "Example execution 1",
      "etag": "67891011",
      "createTime": "2021-05-18T00:06:56.177Z",
      "updateTime": "2021-05-18T00:06:56.177Z",
      "schemaTitle": "system.Run",
      "schemaVersion": "0.0.1",
      "metadata": {},
      "description": "Description of the example execution."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
      "displayName": "Example execution 2",
      "etag": "67891011",
      "createTime": "2021-05-18T00:04:49.659Z",
      "updateTime": "2021-05-18T00:04:49.659Z",
      "schemaTitle": "system.Run",
      "schemaVersion": "0.0.1",
      "metadata": {},
      "description": "Description of the example execution."
    }
  ]
}

Python

Python

from google.cloud import aiplatform


def get_execution_sample(
    execution_id: str,
    project: str,
    location: str,
):
    execution = aiplatform.Execution.get(
        resource_id=execution_id, project=project, location=location
    )

    return execution

Supprimer une exécution existante

Utilisez REST ou le SDK Vertex AI pour Python pour supprimer une exécution.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'exécution est créée. Le magasin de métadonnées par défaut s'appelle default.
  • EXECUTION_ID : ID de l'enregistrement d'exécution à supprimer.

Méthode HTTP et URL :

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

from google.cloud import aiplatform


def delete_execution_sample(
    execution_id: str,
    project: str,
    location: str,
):
    execution = aiplatform.Execution.get(
        resource_id=execution_id, project=project, location=location
    )
    execution.delete()

Supprimer définitivement des exécutions

Pour supprimer plusieurs exécutions basées sur un filtre, suivez les instructions suivantes.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'exécution est créée. Le magasin de métadonnées par défaut s'appelle default.
  • FILTER : spécifie les conditions requises par les exécutions à supprimer. Exemple :
    • Filtres pour toutes les exécutions contenant example dans le nom à afficher : "display_name = \"*example*\"".
    • Filtres pour toutes les exécutions créées avant le 19/11/2020 entre 11:30:00 et 04:00 : "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE : indique si l'opération doit être effectuée ou non. Si l'option est définie sur "false", la méthode renvoie un échantillon de noms d'artefacts qui seront supprimés.

Méthode HTTP et URL :

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions:purge

Corps JSON de la requête :

{
  "filter": "FILTER",
  "force": FORCE
}

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeExecutionsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:45.757991Z",
      "updateTime": "2021-07-21T21:02:45.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeExecutionsResponse",
    "purgeCount": "2"
  }
}

Gestion du contexte

Créer un contexte

Les contextes vous permettent de regrouper des ensembles d'artefacts et d'exécutions. Utilisez REST ou le SDK Vertex AI pour Python pour créer un contexte.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel l'exécution est créée. Le magasin de métadonnées par défaut s'appelle default.
  • CONTEXT_ID : (facultatif) ID de l'enregistrement du contexte. Si l'ID de contexte n'est pas spécifié, Vertex ML Metadata crée un identifiant unique pour ce contexte.
  • DISPLAY_NAME : nom à afficher du contexte. Ce champ peut contenir jusqu'à 128 caractères Unicode.
  • Spécifiez le nom de ressource PARENT_CONTEXT pour tout contexte parent. Un contexte ne peut pas contenir plus de 10 contextes parents.
  • METADATA_SCHEMA_TITLE : titre du schéma décrivant le champ de métadonnées. Le titre du schéma doit respecter le format ".". L'espace de noms doit commencer par une lettre minuscule, peut contenir des lettres minuscules et des chiffres, et peut comporter de 2 à 20 caractères. Le nom du schéma doit commencer par une lettre majuscule, peut inclure des lettres et des chiffres, et peut comporter de 2 à 49 caractères.
  • METADATA_SCHEMA_VERSION : version du schéma décrivant le champ de métadonnées. schema_version doit être une chaîne de trois nombres séparés par des points, par exemple : 1.0.0, 1.0.1. Ce format permet de trier et de comparer les versions.
  • METADATA : propriétés décrivant le contexte, telles que les paramètres de contexte.
  • DESCRIPTION : (facultatif) chaîne lisible qui décrit l'objectif de l'exécution à créer.
  • LABELS : facultatif. Métadonnées définies par l'utilisateur pour l'organisation de vos contextes.

Méthode HTTP et URL : 

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID

Corps JSON de la requête :

{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : CONTEXT_ID est l'ID de l'enregistrement du contexte.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
  "displayName": "Example context:",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T01:52:51.642Z",
  "updateTime": "2021-05-18T01:52:51.642Z",
  "schemaTitle": "system.Experiment",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example context."
}

Python

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import context_schema


def create_context_sample(
    display_name: str,
    project: str,
    location: str,
    context_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    return context_schema.Experiment(
        display_name=display_name,
        context_id=context_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create()
  • display_name : nom à afficher du contexte. Ce champ peut contenir jusqu'à 128 caractères Unicode.
  • project : l'ID de votre projet. Vous pouvez trouver ces ID sur la page d'accueil de la console Google Cloud.
  • location : Consultez la liste des emplacements disponibles.
  • context_id : (facultatif) ID de l'enregistrement du contexte.
  • metadata : propriétés décrivant le contexte, telles que les paramètres de contexte.
  • schema_version : version du schéma décrivant le champ de métadonnées.
  • description : (facultatif) chaîne lisible qui décrit l'objectif du contexte à créer.

Rechercher un contexte existant

Utilisez REST ou le SDK Vertex AI pour Python pour rechercher un contexte existant.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel le contexte est créé. Le magasin de métadonnées par défaut s'appelle default.
  • PAGE_SIZE : (facultatif) nombre maximal d'artefacts à renvoyer. Si cette valeur n'est pas spécifiée, le service renvoie un maximum de 100 enregistrements.
  • PAGE_TOKEN : (facultatif) jeton de page reçu d'un appel de MetadataService.ListArtifacts précédent. Spécifiez ce jeton pour obtenir la page de résultats suivante.

  • FILTER : spécifie les conditions requises pour inclure un contexte dans l'ensemble de résultats.

Méthode HTTP et URL :

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : CONTEXT_ID est l'ID de l'enregistrement du contexte.

{
  "contexts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
      "displayName": "Experiment 1",
      "etag": "67891011",
      "createTime": "2021-05-18T22:36:02.153Z",
      "updateTime": "2021-05-18T22:36:02.153Z",
      "parentContexts": [],
      "schemaTitle": "system.Experiment",
      "schemaVersion": "0.0.1",
      "metadata": {}
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
      "displayName": "Pipeline run 1",
      "etag": "67891011",
      "createTime": "2021-05-18T22:35:02.600Z",
      "updateTime": "2021-05-18T22:35:02.600Z",
      "parentContexts": [],
      "schemaTitle": "system.PipelineRun",
      "schemaVersion": "0.0.1",
      "metadata": {}
    }
  ]
}

Python

Python

from google.cloud import aiplatform


def get_context_sample(
    context_id: str,
    project: str,
    location: str,
):
    context = aiplatform.Context.get(
        resource_id=context_id, project=project, location=location)
    return context

Supprimer un contexte existant

Utilisez REST ou le SDK Vertex AI pour Python pour supprimer un contexte.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel le contexte est créé. Le magasin de métadonnées par défaut s'appelle default.
  • CONTEXT_ID : (facultatif) ID de l'enregistrement du contexte.

Méthode HTTP et URL : 

DELETE https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T20:05:30.179713Z",
      "updateTime": "2021-07-21T20:05:30.179713Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.protobuf.Empty"
  }
}

Python

Python

from google.cloud import aiplatform


def delete_context_sample(
    context_id: str,
    project: str,
    location: str,
):
    context = aiplatform.Context.get(
        resource_id=context_id, project=project, location=location
    )
    context.delete()

Supprimer définitivement les contextes

Suivez les instructions ci-dessous pour supprimer plusieurs contextes en fonction d'une condition de filtre.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • LOCATION_ID : votre région.
  • PROJECT_ID : l'ID de votre projet.
  • METADATA_STORE : ID du magasin de métadonnées dans lequel le contexte est créé. Le magasin de métadonnées par défaut s'appelle default.
  • FILTER : spécifie les conditions requises par les contextes à supprimer. Exemple :
    • Filtres pour tous les contextes dont le nom à afficher contient example : "display_name = \"*example*\"".
    • Filtres pour tous les contextes créés avant le 19/11/2020 entre 11:30:00 et 04:00 : "create_time < \"2020-11-19T11:30:00-04:00\"".
  • FORCE : indique si l'opération doit être effectuée ou non. Si l'option est définie sur "false", la méthode renvoie un échantillon de noms de contextes qui seront supprimés.

Méthode HTTP et URL :

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts:purge

Corps JSON de la requête :

{
  "filter": "FILTER",
  "force": FORCE
}

Pour envoyer votre requête, développez l'une des options suivantes :

Des résultats semblables aux lignes suivantes devraient s'afficher : Vous pouvez utiliser OPERATION_ID dans la réponse pour obtenir l'état de l'opération.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeContextsMetadata",
    "genericMetadata": {
      "createTime": "2021-07-21T21:02:40.757991Z",
      "updateTime": "2021-07-21T21:02:40.757991Z"
    }
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.PurgeContextsResponse",
    "purgeCount": "5"
  }
}

Étapes suivantes