Menyinkronkan dari Cloud SQL

Untuk menyerap data dari Cloud SQL, gunakan langkah-langkah berikut untuk menyiapkan akses Cloud SQL, membuat penyimpanan data, dan menyerap data.

Menyiapkan akses bucket penyiapan untuk instance Cloud SQL

Saat menyerap data dari Cloud SQL, data pertama-tama diatur ke bucket Cloud Storage. Ikuti langkah-langkah berikut untuk memberikan akses instance Cloud SQL ke bucket Cloud Storage.

  1. Di konsol Google Cloud , buka halaman SQL.

    SQL

  2. Klik instance Cloud SQL yang akan Anda gunakan sebagai sumber impor.

  3. Salin ID untuk akun layanan instance, yang terlihat seperti alamat email—misalnya, p9876-abcd33f@gcp-sa-cloud-sql..

  4. Buka halaman IAM & Admin.

    IAM & Admin

  5. Klik Grant access.

  6. Untuk New principals, masukkan ID akun layanan instance dan pilih peran Cloud Storage > Storage Admin.

  7. Klik Simpan.

Berikutnya:

Menyiapkan akses Cloud SQL dari project lain

Untuk memberi Gemini Enterprise akses ke data Cloud SQL yang ada di project lain, ikuti langkah-langkah berikut:

  1. Ganti variabel PROJECT_NUMBER berikut dengan nomor project Gemini Enterprise Anda, lalu salin konten blok kode. Berikut ID akun layanan Gemini Enterprise Anda:

    service-PROJECT_NUMBER@gcp-sa-discoveryengine.

  2. Buka halaman IAM & Admin.

    IAM & Admin

  3. Beralih ke project Cloud SQL Anda di halaman IAM & Admin lalu klik Grant Access.

  4. Untuk New principals, masukkan ID akun layanan dan pilih peran Cloud SQL > Cloud SQL Viewer.

  5. Klik Simpan.

Selanjutnya, buka Mengimpor data dari Cloud SQL.

Mengimpor data dari Cloud SQL

Konsol

Untuk menggunakan konsol guna menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Gemini Enterprise.

    Gemini Enterprise

  2. Buka halaman Data Stores.

  3. Klik Create Data Store.

  4. Di halaman Pilih sumber data, pilih Cloud SQL.

  5. Tentukan project ID, ID instance, ID database, dan ID tabel data yang akan Anda impor.

  6. Klik Telusuri dan pilih lokasi Cloud Storage perantara untuk mengekspor data, lalu klik Pilih. Atau, masukkan lokasi langsung di kolom gs://.

  7. Pilih apakah akan mengaktifkan ekspor serverless. Ekspor serverless menimbulkan biaya tambahan. Untuk mengetahui informasi tentang ekspor serverless, lihat Meminimalkan dampak performa ekspor dalam dokumentasi Cloud SQL.

  8. Klik Lanjutkan.

  9. Pilih region untuk penyimpanan data Anda.

  10. Masukkan nama untuk penyimpanan data Anda.

  11. Klik Buat.

  12. Untuk memeriksa status penyerapan, buka halaman Data Stores dan klik nama penyimpanan data Anda untuk melihat detailnya di halaman Data. Saat kolom status di tab Aktivitas berubah dari Sedang berlangsung menjadi Impor selesai, penyerapan selesai.

    Bergantung pada ukuran data Anda, penyerapan dapat memerlukan waktu beberapa menit atau beberapa jam.

REST

Untuk menggunakan command line guna membuat penyimpanan data dan menyerap data dari Cloud SQL, ikuti langkah-langkah berikut:

  1. Buat penyimpanan data.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
-d '{
  "displayName": "DISPLAY_NAME",
  "industryVertical": "GENERIC",
  "solutionTypes": ["SOLUTION_TYPE_SEARCH"],
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Anda.
    • DATA_STORE_ID: ID penyimpanan data. ID hanya boleh berisi huruf kecil, angka, garis bawah, dan tanda hubung.
    • DISPLAY_NAME: nama tampilan penyimpanan data. Hal ini mungkin ditampilkan di konsol Google Cloud .

  2. Mengimpor data dari Cloud SQL.

      curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \
  -d '{
    "cloudSqlSource": {
      "projectId": "SQL_PROJECT_ID",
      "instanceId": "INSTANCE_ID",
      "databaseId": "DATABASE_ID",
      "tableId": "TABLE_ID",
      "gcsStagingDir": "STAGING_DIRECTORY"
    },
    "reconciliationMode": "RECONCILIATION_MODE",
    "autoGenerateIds": "AUTO_GENERATE_IDS",
    "idField": "ID_FIELD",
  }'

    Ganti kode berikut:

    • PROJECT_ID: ID project Gemini Enterprise Anda.
    • DATA_STORE_ID: ID penyimpanan data. ID hanya boleh berisi huruf kecil, angka, garis bawah, dan tanda hubung.
    • SQL_PROJECT_ID: ID project Cloud SQL Anda.
    • INSTANCE_ID: ID instance Cloud SQL Anda.
    • DATABASE_ID: ID database Cloud SQL Anda.
    • TABLE_ID: ID tabel Cloud SQL Anda.
    • STAGING_DIRECTORY: optional. Direktori Cloud Storage, misalnya, gs://<your-gcs-bucket>/directory/import_errors.
    • RECONCILIATION_MODE: optional. Nilainya adalah FULL dan INCREMENTAL. Default-nya adalah INCREMENTAL. Menentukan INCREMENTAL akan menyebabkan pembaruan data inkremental dari Cloud SQL ke penyimpanan data Anda. Operasi ini melakukan operasi upsert, yang menambahkan dokumen baru dan menggantikan dokumen yang ada dengan dokumen yang diperbarui dengan ID yang sama. Menentukan FULL akan menyebabkan rebase penuh dokumen di penyimpanan data Anda. Dengan kata lain, dokumen baru dan yang diperbarui ditambahkan ke penyimpanan data Anda, dan dokumen yang tidak ada di Cloud SQL akan dihapus dari penyimpanan data Anda. Mode FULL berguna jika Anda ingin menghapus dokumen yang tidak lagi diperlukan secara otomatis.

Langkah berikutnya