Sumber batch Cloud Storage

Halaman ini berisi panduan tentang cara mengonfigurasi plugin sumber batch Cloud Storage di Cloud Data Fusion.

Dengan plugin sumber batch Cloud Storage, Anda dapat membaca data dari bucket Cloud Storage dan memasukkannya ke Cloud Data Fusion untuk pemrosesan dan transformasi lebih lanjut. Hal ini memungkinkan Anda memuat data dari berbagai format file, termasuk:

Terstruktur: CSV, Avro, Parquet, ORC
Semi-terstruktur: JSON, XML
Lainnya: Teks, Biner

Sebelum memulai

Cloud Data Fusion biasanya memiliki dua akun layanan:

Akun layanan waktu desain: Agen Layanan Cloud Data Fusion API
Akun layanan waktu eksekusi: Akun Layanan Compute Engine

Sebelum menggunakan plugin sumber batch Cloud Storage, berikan peran atau izin berikut ke setiap akun layanan.

Cloud Data Fusion API Service Agent

Akun layanan ini sudah memiliki semua izin yang diperlukan dan Anda tidak perlu menambahkan izin lain.

Akun Layanan Compute Engine

Dalam project Google Cloud Anda, berikan peran atau izin IAM berikut ke Akun Layanan Compute Engine:

Pembaca Bucket Lama Penyimpanan (roles/storage.legacyBucketReader). Peran yang ditentukan sebelumnya ini berisi izin storage.buckets.get yang diperlukan.
Storage Object Viewer (roles/storage.legacyBucketReader). Peran yang telah ditentukan ini berisi izin yang diperlukan berikut:
- storage.objects.get
- storage.objects.list

Mengonfigurasi plugin

Buka antarmuka web Cloud Data Fusion, lalu klik Studio.
Pastikan Data Pipeline - Batch dipilih (bukan Realtime).
Di menu Sumber, klik GCS. Node Cloud Storage akan muncul di pipeline Anda.
Untuk mengonfigurasi sumber, buka node Cloud Storage, lalu klik Properties.
Masukkan properti berikut. Untuk mengetahui daftar lengkapnya, lihat Properti.
1. Masukkan Label untuk node Cloud Storage—misalnya, Cloud Storage tables.
2. Masukkan detail koneksi. Anda dapat menyiapkan koneksi baru satu kali, atau koneksi yang sudah ada dan dapat digunakan kembali.
  Koneksi baru
  Untuk menambahkan koneksi satu kali ke Cloud Storage, ikuti langkah-langkah berikut:
  1. Tetap nonaktifkan Gunakan koneksi.
  2. Di kolom ID project, biarkan nilai sebagai deteksi otomatis.
  3. Di kolom Service account type, biarkan nilai sebagai File path dan Service account file path sebagai deteksi otomatis.
    
    Catatan: Jika plugin tidak berjalan di cluster Dataproc, masukkan nilai untuk Service account type dan Service account file path. Untuk mengetahui informasi selengkapnya, lihat Properti.
  Koneksi yang dapat digunakan kembali
  Untuk menggunakan kembali koneksi yang ada, ikuti langkah-langkah berikut:
  1. Aktifkan Gunakan koneksi.
  2. Klik Jelajahi koneksi.
  3. Klik nama koneksi—misalnya, Cloud Storage Default.
    
    Catatan: Untuk mengetahui informasi selengkapnya tentang cara menambahkan, mengimpor, dan mengedit koneksi yang muncul saat Anda menjelajahi koneksi, lihat Mengelola koneksi.
  4. Opsional: jika tidak ada koneksi dan Anda ingin membuat koneksi baru yang dapat digunakan kembali, klik Add connection, lalu lihat langkah-langkah di tab New connection pada halaman ini.
3. Di kolom Reference name, masukkan nama yang akan digunakan untuk lineage—misalnya, data-fusion-gcs-campaign.
4. Di kolom Path, masukkan jalur asal untuk membaca—misalnya, gs://BUCKET_PATH.
5. Di kolom Format, pilih salah satu format file berikut untuk data yang sedang dibaca:
  - avro
  - blob (format blob memerlukan skema yang berisi kolom bernama kolom dari jenis byte)
  - csv
  - delimited
  - json
  - parquet
  - text (format teks memerlukan skema yang berisi kolom yang bernama isi dari string jenis)
  - tsv
  - Nama plugin format yang telah di-deploy di lingkungan Anda
  Catatan: Jika menggunakan makro di kolom ini, Anda harus menggunakan salah satu format yang telah ditentukan. Makro tidak mendukung format yang ditambahkan oleh plugin.
6. Opsional: untuk menguji konektivitas, klik Dapatkan skema.
7. Opsional: di kolom Sample size, masukkan baris maksimum untuk memeriksa jenis data yang dipilih—misalnya, 1000.
8. Opsional: di kolom Override, masukkan nama kolom dan setiap jenis data yang akan dilewati.
9. Opsional: masukkan Properti lanjutan, seperti ukuran pemisahan minimum atau filter jalur ekspresi reguler (lihat Properti).
10. Opsional: di kolom Temporary bucket name, masukkan nama untuk bucket Cloud Storage.
Opsional: klik Validasi dan atasi error yang ditemukan.
Klik Close. Properti disimpan dan Anda dapat terus membangun pipeline data di Cloud Data Fusion Studio.

Properti

Properti	Makro diaktifkan	Properti wajib	Deskripsi
Label	Tidak	Ya	Nama node di pipeline data Anda.
Gunakan koneksi	Tidak	Tidak	Cari koneksi yang dapat digunakan kembali ke sumber tersebut. Untuk mengetahui informasi selengkapnya cara menambahkan, mengimpor, dan mengedit koneksi yang muncul saat Anda menjelajahi koneksi, lihat Mengelola koneksi.
Koneksi	Ya	Ya	Jika Use connection diaktifkan, nama koneksi yang dapat digunakan kembali yang Anda pilih akan muncul di kolom ini.
ID Project	Ya	Tidak	Hanya digunakan jika Gunakan koneksi dinonaktifkan. ID unik global untuk project. Default-nya adalah `auto-detect`.
Jenis akun layanan	Ya	Tidak	Pilih salah satu opsi berikut: File path: jalur tempat akun layanan berada. JSON: Konten JSON akun layanan.
Service account file path	Ya	Tidak	Hanya digunakan jika nilai jenis akun Layanan adalah Jalur file. Jalur di sistem file lokal dari kunci akun layanan yang digunakan untuk otorisasi. Jika tugas berjalan di cluster Dataproc, tetapkan nilainya ke deteksi otomatis. Jika tugas dijalankan pada jenis cluster lain, file harus ada di setiap node dalam cluster. Nilai defaultnya adalah `auto-detect`.
JSON akun layanan	Ya	Tidak	Hanya digunakan jika nilai jenis akun Layanan adalah JSON. Konten file JSON akun layanan.
Nama referensi	Tidak	Ya	Nama yang secara unik mengidentifikasi sumber ini untuk layanan lain, seperti silsilah dan metadata anotasi.
Jalur	Ya	Ya	Jalur ke file yang akan dibaca. Jika sebuah direktori ditentukan, hentikan jalur tersebut dengan garis miring terbalik (`/`). Misalnya, `gs://bucket/path/to/directory/`. Agar cocok dengan pola nama file, Anda dapat menggunakan tanda bintang (`*`) sebagai karakter pengganti. Jika tidak ada file yang ditemukan atau cocok, pipeline akan gagal.
Format	Tidak	Ya	Format data yang akan dibaca. Formatnya harus salah satu dari berikut ini: avro blob (format blob memerlukan skema yang berisi kolom bernama isi jenis byte) csv delimited json parquet text (format teks memerlukan skema yang berisi kolom bernama isi dari jenis string) tsv Nama plugin format yang telah di-deploy di lingkungan Anda Jika formatnya adalah makro, hanya format dalam bentuk paket yang dapat digunakan
Ukuran sampel	Ya	Tidak	Jumlah maksimum baris yang diselidiki untuk deteksi jenis data otomatis. Nilai defaultnya adalah 1000.
Ganti	Ya	Tidak	Daftar kolom dengan data yang sesuai yang dilewati deteksi jenis data otomatisnya.
Pemisah	Ya	Tidak	Pemisah yang akan digunakan jika formatnya delimited. Properti ini diabaikan untuk format lain.
Aktifkan nilai yang dikutip	Ya	Tidak	Apakah akan memperlakukan konten yang berada di antara tanda kutip sebagai sebuah nilai. Properti ini hanya digunakan untuk format csv, tsv, atau delimited. Misalnya, jika properti ini disetel ke benar (true), kode berikut akan menghasilkan dua kolom: `1, "a, b, c"`. Kolom pertama berisi `1` sebagai nilainya. Yang kedua memiliki `a, b, c`. Karakter tanda kutip dipangkas. Pemisah baris baru tidak boleh dalam tanda kutip. Plugin mengasumsikan bahwa tanda kutip disertakan dengan benar, misalnya, `"a, b, c"`. Tidak menutup penawaran harga (`"a,b,c,`) akan menyebabkan error. Nilai defaultnya adalah False.
Gunakan baris pertama sebagai header	Ya	Tidak	Apakah akan menggunakan baris pertama dari setiap file sebagai header kolom. Format yang didukung adalah text, csv, tsv, dan delimited. Defaultnya adalah Salah.
Ukuran pemisahan minimum	Ya	Tidak	Ukuran minimum, dalam byte, untuk setiap partisi input. Partisi yang lebih kecil meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Jika nilai Format adalah `blob`, Anda tidak dapat membagi data.
Ukuran pemisahan maksimum	Ya	Tidak	Ukuran maksimum, dalam byte, untuk setiap partisi input. Partisi yang lebih kecil meningkatkan tingkat paralelisme, tetapi memerlukan lebih banyak resource dan overhead. Jika nilai Format adalah `blob`, Anda tidak dapat membagi data. Defaultnya adalah 128 MB.
Filter jalur regex	Ya	Tidak	Ekspresi reguler yang harus cocok dengan jalur file untuk disertakan dalam input. Jalur lengkap dibandingkan, bukan hanya nama file. Jika tidak ada file yang diberikan, pemfilteran file tidak akan dilakukan. Untuk mengetahui informasi selengkapnya tentang sintaksis ekspresi reguler, lihat Pola.
Kolom jalur	Ya	Tidak	Kolom output untuk menempatkan jalur file tempat data dibaca. Jika tidak ditentukan, jalur tidak akan disertakan dalam data output. Jika ditentukan, kolom tersebut harus ada dalam skema output sebagai string.
Hanya nama file jalur	Ya	Tidak	Jika properti Kolom jalur ditetapkan, hanya gunakan nama file, bukan URI jalur. Default-nya adalah False.
Membaca file secara berulang	Ya	Tidak	Apakah file akan dibaca secara rekursif dari jalur. Default-nya adalah False.
Izinkan input kosong	Ya	Tidak	Apakah akan mengizinkan jalur input yang tidak berisi data. Jika ditetapkan ke False, plugin akan mengalami error ketika tidak ada data untuk dibaca. Jika ditetapkan ke True, tidak ada error yang ditampilkan dan nol kumpulan data akan dibaca. Default-nya adalah False.
File data yang dienkripsi	Ya	Tidak	Apakah file dienkripsi. Untuk mengetahui informasi selengkapnya, lihat Enkripsi file data. Default-nya adalah False.
Akhiran file metadata enkripsi	Ya	Tidak	Akhiran nama file untuk file metadata enkripsi. Defaultnya adalah metadata.
Properti sistem file	Ya	Tidak	Properti tambahan yang akan digunakan dengan InputFormat saat membaca data.
Encoding file	Ya	Tidak	Pengkodean karakter untuk file yang akan dibaca. Defaultnya adalah UTF-8.
Skema output	Ya	Tidak	Jika properti Kolom jalur ditetapkan, properti tersebut harus ada dalam skema sebagai string.

Enkripsi file data

Bagian ini menjelaskan properti Enkripsi file data. Jika Anda menetapkannya ke true, file akan didekripsi menggunakan AEAD Streaming yang disediakan oleh library Tink. Setiap file data harus disertai dengan file metadata yang berisi informasi cipher. Misalnya, file data terenkripsi di gs://BUCKET/PATH_TO_DIRECTORY/file1.csv.enc harus memiliki file metadata di gs://BUCKET/ PATH_TO_DIRECTORY/file1.csv.enc.metadata. File metadata berisi objek JSON dengan properti berikut:

Properti	Deskripsi
`kms`	URI Cloud Key Management Service yang digunakan untuk mengenkripsi Kunci Enkripsi Data.
`aad`	Data Terautentikasi Tambahan yang dienkode menggunakan Base64 yang digunakan dalam enkripsi.
`key set`	Objek JSON yang mewakili informasi keyset serial dari library Tink.

Contoh

    /* Counting example */
    {

      "kms": "gcp-kms://projects/my-key-project/locations/us-west1/keyRings/my-key-ring/cryptoKeys/mykey",

      "aad": "73iT4SUJBM24umXecCCf3A==",

      "keyset": {

          "keysetInfo": {

              "primaryKeyId": 602257784,

              "keyInfo": [{

                  "typeUrl": "type.googleapis.com/google.crypto.tink.AesGcmHkdfStreamingKey",

                  "outputPrefixType": "RAW",

                  "keyId": 602257784,

                  "status": "ENABLED"

              }]

          },

          "encryptedKeyset": "CiQAz5HH+nUA0Zuqnz4LCnBEVTHS72s/zwjpcnAMIPGpW6kxLggSrAEAcJKHmXeg8kfJ3GD4GuFeWDZzgGn3tfolk6Yf5d7rxKxDEChIMWJWGhWlDHbBW5B9HqWfKx2nQWSC+zjM8FLefVtPYrdJ8n6Eg8ksAnSyXmhN5LoIj6az3XBugtXvCCotQHrBuyoDY+j5ZH9J4tm/bzrLEjCdWAc+oAlhsUAV77jZhowJr6EBiyVuRVfcwLwiscWkQ9J7jjHc7ih9HKfnqAZmQ6iWP36OMrEn"

      }

    }

Catatan rilis

6 September 2023

Langkah selanjutnya

Pelajari plugin di Cloud Data Fusion lebih lanjut.