Model data dan resource

Vertex ML Metadata mengatur resource secara hierarkis, di mana setiap resource berada di MetadataStore. Anda harus memiliki MetadataStore terlebih dahulu sebelum dapat membuat resource Metadata.

Terminologi Vertex ML Metadata

Bagian berikut memperkenalkan model data dan terminologi yang digunakan untuk mendeskripsikan resource dan komponen Vertex ML Metadata.

MetadataStore
  • MetadataStore adalah container tingkat atas untuk resource metadata. MetadataStore bersifat regional dan berkaitan dengan project Google Cloud tertentu. Biasanya, organisasi menggunakan satu MetadataStore bersama untuk resource metadata dalam setiap project.
resource metadata
  • Vertex ML Metadata mengekspos model data seperti grafik untuk merepresentasikan metadata yang dihasilkan dan digunakan dari alur kerja ML. Konsep utamanya adalah artefak, eksekusi, peristiwa, dan konteks.
artefak
  • Artefak adalah entity atau bagian data terpisah yang dihasilkan dan digunakan oleh alur kerja machine learning. Contoh artefak meliputi set data, model, file input, dan log pelatihan.
konteks
  • Konteks digunakan untuk mengelompokkan artefak dan eksekusi dalam satu kategori dengan jenis tertentu yang dapat dikueri. Konteks dapat digunakan untuk merepresentasikan kumpulan metadata. Contoh Konteks adalah operasi pipeline machine learning.
Misalnya, Anda dapat menggunakan konteks untuk merepresentasikan kumpulan metadata seperti:

  • Operasi pipeline Vertex AI Pipelines. Dalam hal ini, konteks merepresentasikan satu operasi dan setiap eksekusi merepresentasikan satu langkah dalam pipeline ML. Menunjukkan bagaimana artefak, eksekusi, dan konteks digabungkan ke dalam model data grafik Vertex ML Metadata.

  • Eksperimen yang dijalankan dari notebook Jupyter. Dalam hal ini, konteks dapat merepresentasikan notebook dan setiap eksekusi dapat merepresentasikan sel dalam notebook tersebut.

    peristiwa
    • Peristiwa menjelaskan hubungan antara artefak dan eksekusi. Setiap artefak dapat dihasilkan oleh suatu eksekusi dan digunakan oleh eksekusi lainnya. Peristiwa membantu Anda menentukan asal artefak dalam alur kerja ML dengan merangkai artefak dan eksekusi.
    eksekusi
    • Eksekusi adalah kumpulan data dari setiap langkah alur kerja machine learning, biasanya dianotasi dengan parameter runtime-nya. Contoh eksekusi meliputi penyerapan data, validasi data, pelatihan model, evaluasi model, dan deployment model.
    MetadataSchema
    • MetadataSchema menjelaskan skema untuk jenis artefak, eksekusi, atau konteks tertentu. MetadataSchemas digunakan untuk memvalidasi pasangan nilai kunci selama pembuatan resource Metadata yang sesuai. Validasi skema hanya dilakukan pada kolom yang cocok antara resource dan MetadataSchema. Skema jenis direpresentasikan menggunakan Objek Skema OpenAPI, yang harus dideskripsikan menggunakan YAML.

Contoh MetadataSchema

Skema jenis direpresentasikan menggunakan Objek Skema OpenAPI, yang harus dideskripsikan menggunakan YAML.

Berikut ini adalah contoh yang menjelaskan bagaimana jenis sistem Model yang telah ditentukan ditetapkan dalam format YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

Judul skema harus menggunakan format <namespace>.<type name>. Vertex ML Metadata memublikasikan dan mengelola skema yang ditentukan sistem untuk merepresentasikan jenis umum yang banyak digunakan dalam alur kerja ML. Skema ini termasuk dalam namespace system, dan dapat diakses sebagai resource MetadataSchema di API. Skema selalu dibuatkan versi.

Untuk mempelajari skema lebih lanjut, lihat Skema sistem. Selain itu, Vertex ML Metadata memungkinkan Anda membuat Skema Kustom yang ditentukan pengguna. Untuk mempelajari Skema Sistem lebih lanjut, lihat Cara mendaftarkan skema kustom Anda sendiri.

Resource Metadata yang diekspos sangat mirip dengan implementasi open source ML Metadata (MLMD).

Langkah selanjutnya