Persyaratan data sumber

Untuk impor batch, Vertex AI Feature Store (Lama) dapat mengimpor data dari tabel di BigQuery atau file di Cloud Storage.

  • Gunakan tabel BigQuery jika Anda perlu mengimpor seluruh set data dan tidak memerlukan filter partisi.

  • Gunakan tampilan BigQuery jika Anda perlu mengimpor subset tertentu dari set data. Opsi ini lebih hemat waktu dan memungkinkan Anda mengimpor pilihan tertentu dari seluruh {i>dataset<i}, termasuk beberapa tabel yang dihasilkan dari data.

  • Data yang terdapat dalam file yang diimpor dari Cloud Storage harus dalam format AVRO atau CSV.

Untuk impor streaming, Anda memberikan nilai fitur yang akan diimpor dalam permintaan API. Persyaratan data sumber ini tidak berlaku. Untuk informasi selengkapnya, lihat referensi writeFeatureValues API.

Setiap item (atau baris) harus mematuhi persyaratan berikut:

  • Anda harus memiliki kolom untuk ID entitas, dan nilainya harus berjenis STRING. Kolom ini berisi ID entitas yang menjadi tujuan nilai fitur.

  • Jenis nilai data sumber Anda harus cocok dengan jenis nilai fitur tujuan di featurestore. Misalnya, nilai boolean harus diimpor ke fitur dengan jenis BOOL.

  • Semua kolom harus memiliki header yang berjenis STRING. Tidak ada pembatasan pada nama header.

    • Untuk tabel BigQuery dan tampilan BigQuery, header kolomnya adalah nama kolom.
    • Untuk AVRO, header kolom ditentukan oleh skema AVRO yang terkait dengan data biner.
    • Untuk file CSV, header kolom adalah baris pertama.

  • Jika Anda menyediakan kolom untuk stempel waktu pembuatan fitur, gunakan salah satu format stempel waktu berikut:

    • Untuk tabel BigQuery dan tampilan BigQuery, stempel waktu harus berada di kolom TIMESTAMP.
    • Untuk Avro, stempel waktu harus berjenis panjang dan logis timestamp-micros.
    • Untuk file CSV, stempel waktu harus dalam format RFC 3339.

  • File CSV tidak boleh menyertakan jenis data array. Gunakan Avro atau BigQuery.

  • Untuk jenis array, Anda tidak dapat menyertakan nilai null dalam array. Meskipun demikian, Anda dapat menyertakan array kosong.

Stempel waktu nilai fitur

Untuk impor batch, Vertex AI Feature Store (Lama) memerlukan stempel waktu yang disediakan pengguna untuk nilai fitur yang diimpor. Anda dapat menentukan stempel waktu tertentu untuk setiap nilai atau menentukan stempel waktu yang sama untuk semua nilai:

  • Jika stempel waktu untuk nilai fitur berbeda, tentukan stempel waktu di kolom dalam data sumber. Setiap baris harus memiliki stempel waktu sendiri yang menunjukkan kapan nilai fitur dihasilkan. Dalam permintaan impor, Anda menentukan nama kolom untuk mengidentifikasi kolom stempel waktu.
  • Jika stempel waktu untuk semua nilai fitur sama, Anda dapat menentukannya sebagai parameter dalam permintaan impor. Anda juga dapat menentukan stempel waktu di kolom dalam data sumber, dengan setiap baris memiliki stempel waktu yang sama.

Region sumber data

Jika data sumber Anda berada di BigQuery atau Cloud Storage, set data atau bucket sumber harus berada di region yang sama atau di lokasi multi-region yang sama dengan featurestore Anda. Misalnya, featurestore di us-central1 hanya dapat mengimpor data dari bucket Cloud Storage atau set data BigQuery yang berada di us-central1 atau di lokasi multi-region AS. Anda tidak dapat mengimpor data dari, misalnya, us-east1. Selain itu, data sumber dari bucket region ganda tidak didukung.

Langkah selanjutnya