Tracking-Klassen

Das Vertex AI SDK für Python enthält Klassen, die Sie bei der Visualisierung, der Messung und dem Tracking unterstützen. Diese Klassen können in drei Typen unterteilt werden:

  • Klassen, die Metadaten zum Verfolgen von Ressourcen in Ihrem ML-Workflow verwenden
  • Klassen, die für Vertex AI Experiments verwendet werden
  • Klassen, die für ein Vertex AI TensorBoard verwendet werden

Die folgenden Themen bieten einen Überblick über die Klassen im Zusammenhang mit dem Tracking und Monitoring eines ML-Workflows im Vertex AI SDK für Python.

Metadatenklassen

Mit dem Vertex AI SDK für Python können Sie Vertex ML Metadata erstellen, mit denen Sie die Metadaten in Ihrem ML-Workflow verfolgen und analysieren können. Weitere Informationen finden Sie unter Einführung in Vertex ML Metadata.

Artifact

Die Klasse Artifact stellt die Metadaten in einem Artefakt in Vertex AI dar. Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt wird. Beispiele für Artefakte sind ein Dataset, ein Modell und eine Eingabedatei. Weitere Informationen finden Sie unter Ausführungen und Artefakte verfolgen.

Wenn Sie eine Artifact-Ressource erstellen, müssen Sie ihr Schema angeben. Jeder Artefakttyp hat ein eindeutiges Schema. Das Schema system.Dataset stellt beispielsweise ein Dataset dar und das Schema system.Metrics stellt Bewertungsmesswerte dar. Weitere Informationen finden Sie unter Systemschemas verwenden.

Der folgende Beispielcode zeigt, wie Sie eine Artifact-Ressource erstellen, die ein Modell darstellt:

model_artifact = aiplatform.Artifact.create(
        schema_title="system.Model",
        display_name=PREPROCESSED_DATASET_NAME,
        uri=PREPROCESSED_DATASET_URI,

Execution

Die Klasse Execution stellt die Metadaten in einer Ausführung in Vertex AI dar. Eine Ausführung ist ein Schritt in einem ML-Workflow. Beispiele für eine Ausführung sind Datenverarbeitung, Training und Modellbewertung. Bei einer Ausführung können Artefakte wie ein Dataset genutzt werden und ein Artefakt erzeugt werden, z. B. ein Modell.

Verwenden Sie aiplatform.start_execution, um eine Execution-Ressource zu erstellen. Nachdem Sie eine Execution-Ressource erstellt haben, verwenden Sie dieselbe aiplatform.start_execution-Methode, wobei der Parameter resume auf True festgelegt ist, um sie fortzusetzen.

Der folgende Beispielcode zeigt, wie Sie eine Execution-Ressource erstellen:

with aiplatform.start_execution(schema_title='system.ContainerExecution',
                                display_name='trainer') as execution:
    execution.assign_input_artifacts([my_artifact])
    model = aiplatform.Artifact.create(uri='gs://my-uri', schema_title='system.Model')
    execution.assign_output_artifacts([model])

Vertex AI Experiments-Klassen

Sie können das Vertex AI SDK für Python verwenden, um Vertex AI Experiments zu erstellen und auszuführen. Verwenden Sie Vertex AI Experiments, um protokollierte Messwerte und Parameter zu verfolgen, mit denen Sie Ihren ML-Workflow analysieren und optimieren können. Weitere Informationen finden Sie unter Einführung in Vertex AI Experiments.

Weitere Informationen zur Verwendung der Klassen Experiment und ExperimentRun finden Sie in den folgenden Anleitungen:

Experiment

Die Klasse Experiment stellt einen Test in Vertex AI dar. Verwenden Sie ein Experiment, um seine Testausführungen und Pipelineausführungen mit verschiedenen Konfigurationen zu analysieren, z. B. mit mehreren Eingabeartefakten und Hyperparametern.

Es gibt zwei Möglichkeiten, eine Experiment-Ressource zu erstellen:

  1. Die bevorzugte Methode zum Erstellen eines Experiment besteht darin, beim Aufrufen von aiplatform.init einen Namen für den Test als Parameter anzugeben:

    # In a real world scenario it's likely you would specify more parameters
# when you call aiplatform.init. This sample shows only how to use the
# parameter used to create an Experiment.

# Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"

# Create the experiment
aiplatform.init(experiment=EXPERIMENT_NAME)

  2. Sie können auch aiplatform.Experiment.create aufrufen, um ein Experiment zu erstellen. aiplatform.Experiment.create erstellt die Ressource Experiment, legt sie jedoch nicht auf eine globale Umgebung fest. Aus diesem Grund können Sie den Test nicht mit aiplatform.start_run ausführen. Der folgende Beispielcode zeigt, wie Sie mit aiplatform.Experiment.create einen Test erstellen und dann den Test ausführen:

    # Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"
EXPERIMENT_RUN_NAME = "your-run"

# Create the experiment
experiment = aiplatform.Experiment.create(experiment_name=EXPERIMENT_NAME)
experiment_run = aiplatform.ExperimentRun.create(EXPERIMENT_RUN_NAME, experiment=EXPERIMENT_NAME)

ExperimentRun

Die Klasse ExperimentRun stellt die Ausführung eines Tests dar.

Der folgende Beispielcode zeigt, wie Sie einen Testlauf erstellen und starten und ihn dann verwenden, um Informationen über Ihren Test abzurufen. Rufen Sie zum Löschen der Testausführung einen Verweis auf die Instanz ExperimentRun ab und rufen Sie die Methode delete auf.

# Specify your project name, location, experiment name, and run name
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
EXPERIMENT_NAME = "experiment-1"
RUN_NAME = "run-1"

# Create the experiment to run
aiplatform.init(experiment=EXPERIMENT_NAME,
                project=PROJECT_NAME,
                location=LOCATION)

# Create and run an ExperimentRun resource. Next, you can use it to get
# information about your experiment. For example, you can log parameters and
# metrics with specified key-value pairs.
with aiplatform.start_run(RUN_NAME):
     aiplatform.log_params({'learning_rate': 0.1, 'dropout_rate': 0.2})
     aiplatform.log_metrics({'accuracy': 0.9, 'recall': 0.8})

# Get a reference to the ExperimentRun resource, get the parameters logged to 
# the run, get the summary metrics logged to the run, then delete it.
with aiplatform.start_run(RUN_NAME, resume=True) as run:
     run.get_params()
     run.get_metrics()
     run.delete()

Vertex AI TensorBoard-Klassen

Das Vertex AI SDK für Python enthält Klassen für die Arbeit mit einer verwalteten Version des Open-Source-Vertex AI TensorBoard. Vertex AI TensorBoard ist ein Tool, mit dem Sie während Ihres ML-Workflows Messungen und Visualisierungen überwachen können. Weitere Informationen finden Sie unter Erste Schritte mit Vertex AI TensorBoard.

Weitere Informationen über die Verwendung des Vertex AI SDK für Python für die Verwendung von Vertex AI TensorBoard finden Sie in einem der folgenden Notebook-Tutorials:

Tensorboard

Die Klasse Tensorboard stellt eine verwaltete Ressource dar, in der Vertex AI TensorBoard-Tests gespeichert werden. Sie müssen eine Tensorboard-Instanz erstellen, bevor die Tests visualisiert werden können. Sie können in einem Google Cloud-Projekt mehrere Tensorboard-Instanzen erstellen.

Der folgende Beispielcode zeigt, wie Sie eine Tensorboard-Instanz erstellen:

# Specify your project name, location, and the name of your Tensorboard
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
TENSORBOARD_NAME = "my-tensorboard"

aiplatform.init(project=PROJECT_NAME, location=LOCATION)

tensorboard = aiplatform.Tensorboard.create(
    display_name=TENSORBOARD_NAME,
    project=PROJECT_NAME,
    location=LOCATION,
)

TensorboardExperiment

TensorboardExperiment stellt eine Gruppe von TensorboardRun-Objekten dar. Eine TensorboardRun-Instanz stellt die Ergebnisse eines Trainingsjobs dar, der in einem TensorBoard ausgeführt wird.

TensorboardRun

Eine Instanz der Klasse TensorboardRun ist einem Trainingsjob zugeordnet, der in einem TensorBoard mit einem angegebenen Satz von Hyperparametern, einer Modelldefinition, einem Dataset und mehr ausgeführt wird.

TensorboardTimeSeries

Die Klasse TensorboardTimeSeries stellt eine in Trainingsläufen erstellte Reihe dar.

Nächste Schritte