Vertex ML Metadata はリソースを階層的に整理します。ここで、すべてのリソースは MetadataStore に属しています。メタデータ リソースを作成する前に、MetadataStore を取得する必要があります。
Vertex ML Metadata の用語
以下では、Vertex ML Metadata のリソースとコンポーネントの説明に使用されるデータモデルと用語について説明します。
MetadataStore
- MetadataStore は、メタデータ リソースの最上位コンテナです。MetadataStore はリージョン化されており、特定の Google Cloud プロジェクトに関連付けられています。通常、組織では各プロジェクト内のメタデータ リソースに対して 1 つの共有 MetadataStore を使用します。
メタデータ リソース
- Vertex ML Metadata は、ML ワークフローから生成および使用されるメタデータを表すため、グラフに似たデータモデルを公開します。主なコンセプトは、アーティファクト、実行、イベント、コンテキストです。
アーティファクト
- アーティファクトは、ML ワークフローによって生成、使用される個別のエンティティまたはデータです。アーティファクトの例としては、データセット、モデル、入力ファイル、トレーニング ログなどがあります。
コンテキスト
- コンテキストは、アーティファクトと実行を単一のクエリ可能なタイプ付きカテゴリにグループ化するために使用されます。コンテキストを使用してメタデータのセットを表すことができます。コンテキストの例としては、機械学習パイプラインの実行があります。
Vertex AI Pipelines パイプラインの実行。この場合、コンテキストは 1 つの実行を表し、各実行は ML パイプライン内のステップを表します。
Jupyter ノートブックから実行されたテスト。この場合、コンテキストはノートブックを表し、各実行はそのノートブック内のセルを表します。
イベント
- イベントは、アーティファクトと実行の関係を記述します。各アーティファクトは 1 つの実行によって生成され、他の実行で使用されることもあります。イベントは、アーティファクトと実行を連結することで、ML ワークフローでアーティファクトの出所を特定するのに役立ちます。
実行
- 実行とは、個々の ML ワークフロー ステップのレコードで、通常はランタイムのパラメータでアノテーションが付けられています。実行の例としては、データの取り込み、データの検証、モデルのトレーニング、モデルの評価、モデルのデプロイなどがあります。
MetadataSchema
- MetadataSchema は、特定のタイプのアーティファクト、実行、コンテキストのスキーマを記述します。MetadataSchemas は、対応するメタデータ リソースの作成時に Key-Value ペアを検証するために使用されます。スキーマの検証は、リソースと MetadataSchema の間で一致するフィールドに対してのみ実行されます。型スキーマは、OpenAPI Schema Objects として表現します。これは、YAML を使用して記述する必要があります。
MetadataSchema の例
型スキーマは、OpenAPI Schema Objects として表現します。これは、YAML を使用して記述する必要があります。
以下に、事前定義された Model システムタイプを YAML 形式で指定する方法の例を示します。
title: system.Model
type: object
properties:
framework:
type: string
description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
framework_version:
type: string
description: "The framework version, for example '1.15' or '2.1'"
payload_format:
type: string
description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"
スキーマのタイトルは、<namespace>.<type name> の形式にする必要があります。Vertex ML Metadata は、ML ワークフローで広く使用されている一般的な型を表すシステム定義スキーマを公開し、管理します。これらのスキーマは名前空間 system に存在し、API で MetadataSchema リソースとしてアクセスできます。スキーマは常にバージョニングされます。
スキーマの詳細については、システム スキーマをご覧ください。また、Vertex ML Metadata を使用すると、ユーザー定義のカスタム スキーマを作成できます。システム スキーマの詳細については、独自のカスタム スキーマを登録する方法をご覧ください。
公開されているメタデータ リソースは、ML Metadata（MLMD）のオープンソース実装のものとほぼ同じです。