Impor streaming

Impor streaming memungkinkan Anda membuat update real-time pada nilai fitur. Metode ini berguna jika memiliki data terbaru yang tersedia untuk penayangan online menjadi prioritas. Misalnya, Anda dapat mengimpor data peristiwa streaming dan, dalam beberapa detik, Vertex AI Feature Store (Lama) akan menyediakan data tersebut untuk skenario penayangan online.

Jika Anda harus mengisi ulang data atau menghitung nilai fitur secara massal, gunakan impor batch. Dibandingkan dengan permintaan impor streaming, permintaan impor batch dapat menangani payload yang lebih besar, tetapi memerlukan waktu lebih lama untuk menyelesaikan tugas.

Untuk mengetahui informasi tentang stempel waktu nilai fitur terlama yang dapat Anda impor, lihat Vertex AI Feature Store (Lama) di Kuota dan batas. Anda tidak dapat mengimpor nilai fitur yang stempel waktunya menunjukkan tanggal atau waktu mendatang.

Contoh kasus penggunaan

Organisasi retail online dapat memberikan pengalaman belanja yang dipersonalisasi dengan memanfaatkan aktivitas terkini pengguna. Saat pengguna menjelajahi situs, Anda dapat merekam aktivitas mereka ke dalam featurestore, kemudian menampilkan semua informasi tersebut untuk prediksi online. Impor dan penayangan real-time ini dapat membantu Anda menampilkan rekomendasi yang bermanfaat dan relevan kepada pelanggan selama sesi belanja mereka.

Penggunaan node penyimpanan online

Penulisan nilai fitur ke penyimpanan online menggunakan resource CPU featurestore (node penyimpanan online). Pantau penggunaan CPU Anda untuk memastikan permintaan tidak melebihi pasokan, yang dapat menyebabkan error penyaluran. Kami merekomendasikan tingkat penggunaan maksimal 70% untuk menghindari error ini. Jika nilai tersebut terlampaui secara rutin, Anda dapat mengupdate featurestore untuk meningkatkan jumlah node atau menggunakan penskalaan otomatis. Untuk informasi selengkapnya, lihat Mengelola featurestore.

Impor streaming

Tulis nilai ke sebuah fitur tertentu. Nilai fitur ini harus disertakan sebagai bagian dari permintaan impor. Anda tidak dapat men-streaming data dari sebuah sumber data secara langsung.

Jika Anda menulis ke fitur yang baru dibuat, tunggu beberapa menit sebelum melakukannya karena fitur baru mungkin belum diterapkan. Jika tidak menunggu, Anda mungkin akan melihat error resource not found.

Anda dapat mengimpor nilai fitur hanya untuk satu entity per penulisan. Untuk setiap project dan region tertentu, Anda dapat menulis nilai fitur untuk beberapa entity secara bersamaan dalam maksimum sepuluh jenis entity berbeda. Batas ini mencakup permintaan impor streaming ke semua featurestore di project dan region tertentu. Jika Anda melebihi batas ini, Vertex AI Feature Store (Lama) mungkin tidak menulis semua data Anda ke penyimpanan offline. Jika hal ini terjadi, Vertex AI Feature Store (Lama) akan mencatat error di Logs Explorer. Untuk informasi selengkapnya, lihat Memantau error penulisan penyimpanan offline untuk impor streaming.

REST

Untuk mengimpor nilai fitur bagi fitur yang sudah ada, kirim permintaan POST menggunakan metode featurestores.entityTypes.writeFeatureValues. Jika nama kolom data sumber dan ID fitur tujuan berbeda, sertakan parameter sourceField. Perlu diketahui bahwa featurestores.entityTypes.writeFeatureValues memungkinkan Anda mengimpor nilai fitur hanya untuk satu entity pada satu waktu.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

  • LOCATION: Region tempat featurestore dibuat. Contoh, us-central1.
  • PROJECT: Project ID Anda.
  • FEATURESTORE_ID: ID featurestore.
  • ENTITY_TYPE_ID: ID jenis entity.
  • FEATURE_ID: ID fitur yang sudah ada di featurestore tempat nilai akan ditulis.
  • VALUE_TYPE: Jenis nilai fitur.
  • VALUE: Nilai untuk fitur.
  • TIME_STAMP (opsional): Waktu fitur dibuat. Stempel waktu harus dalam format RFC3339 UTC.

Metode HTTP dan URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues

Isi JSON permintaan: 

{
  "payloads": [
    {
      "entityId": "ENTITY_ID",
      "featureValues": {
        "FEATURE_ID": {
          "VALUE_TYPE": VALUE,
          "metadata": {"generate_time": "TIME_STAMP"}
        }
      }
    }
  ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues"

PowerShell

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/featurestores/FEATURESTORE_ID/entityTypes/ENTITY_TYPE_ID:writeFeatureValues" | Select-Object -Expand Content

Anda akan menerima kode status yang berhasil (2xx) dan respons kosong.

Python

Untuk mempelajari cara menginstal atau mengupdate Vertex AI SDK untuk Python, lihat Menginstal Vertex AI SDK untuk Python. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi Python API. 

from google.cloud import aiplatform


def write_feature_values_sample(
    project: str, location: str, entity_type_id: str, featurestore_id: str
):

    aiplatform.init(project=project, location=location)

    my_entity_type = aiplatform.featurestore.EntityType(
        entity_type_name=entity_type_id, featurestore_id=featurestore_id
    )

    my_data = {
        "movie_01": {
            "title": "The Shawshank Redemption",
            "average_rating": 4.7,
            "genre": "Drama",
        },
    }

    my_entity_type.write_feature_values(instances=my_data)

Bahasa tambahan

Anda dapat menginstal dan menggunakan library klien Vertex AI berikut untuk memanggil Vertex AI API. Library Klien Cloud memberikan pengalaman yang dioptimalkan bagi developer dengan menggunakan konvensi dan gaya yang natural dari setiap bahasa yang didukung.

Langkah selanjutnya