Cloud Storage

Konektor Google Cloud Storage memungkinkan Anda terhubung ke Google Cloud Storage dan melakukan operasi transfer file.

Sebelum memulai

Sebelum menggunakan konektor Cloud Storage, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor
      • roles/storage.admin

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + CREATE NEW untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik BERIKUTNYA.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih Cloud Storage dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Project ID: ID project Google Cloud tempat data berada.
    8. Secara opsional, klik + TAMBAHKAN LABEL untuk menambahkan label ke Koneksi dalam bentuk pasangan kunci/nilai.
    9. Klik BERIKUTNYA.
  5. Tinjau: Tinjau koneksi Anda.
  6. Klik Create.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor Google Cloud Storage dapat memproses maksimum 10 transaksi per detik, per node, dan throttle setiap transaksi di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Tindakan

Koneksi Google Cloud Storage mendukung tindakan berikut:

Tindakan DownloadObject

Tabel berikut menjelaskan parameter input dari tindakan DownloadObject.

Nama parameter Diperlukan Jenis data Deskripsi
Bucket Ya String Nama bucket tempat objek yang akan didownload ada.
ObjectFilePath Tidak String Nama objek yang harus didownload. Jika tidak ditentukan, semua objek dari bucket yang ditentukan akan didownload.

Jika objek yang akan didownload ada di folder turunan bucket, Anda harus memberikan jalur lengkap objek tersebut. Misalnya, untuk mendownload logfile.txt yang ada di folderA bucket_01, jalur objek harus berupa folderA/logfile.txt.

HasBytes Tidak Boolean Apakah akan mendownload konten sebagai byte. Nilai yang valid adalah true atau false. Jika ditetapkan ke true, konten akan didownload sebagai string berenkode Base64.

Secara default, kolom HasBytes disetel ke false.
UpdatedEndDate Tidak Tanggal Rentang tanggal akhir untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari UpdatedStartDate yang ditentukan hingga hari ini.
UpdatedStartDate Tidak Tanggal Awal rentang tanggal untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari awal waktu hingga UpdatedEndDate.

Untuk mengetahui contoh cara mengonfigurasi tindakan DownloadObject, lihat Contoh.

Tindakan UploadObject

Tabel berikut menjelaskan parameter input dari tindakan UploadObject.

Nama parameter Diperlukan Jenis data Deskripsi
Bucket Ya String Nama bucket tempat objek akan diupload.
FolderPath Tidak String Jalur ke folder tempat objek akan diupload.
ContentBytes Tidak String Konten yang akan diupload dalam bentuk byte (string berenkode Base64).
HasBytes Tidak Boolean Apakah akan mengupload konten sebagai byte. Nilai yang valid; true atau false. Jika ditetapkan ke true, konten yang ingin Anda upload harus berupa string berenkode Base64.

Secara default, kolom HasBytes disetel ke false.
Konten Ya String Konten yang akan diupload.
ObjectName Tidak String Nama objek yang akan diupload.

Untuk mengetahui contoh cara mengonfigurasi tindakan UploadObject, lihat Contoh.

Tindakan CopyObject

Tabel berikut menjelaskan parameter input dari tindakan CopyObject.

Nama parameter Diperlukan Jenis data Deskripsi
BucketSource Ya String Nama bucket tempat Anda ingin menyalin objek.
ObjectSource Ya String Jalur lengkap folder tempat Anda ingin menyalin objek.
BucketDestination Ya String Nama bucket tempat Anda ingin menyalin objek.
ObjectDestination Tidak String Jalur lengkap tujuan termasuk nama objek. Jika Anda tidak menentukan nama objek apa pun, nama objek sumber akan dipertahankan.

Untuk mengetahui contoh cara mengonfigurasi tindakan CopyObject, lihat Contoh.

Tindakan MoveObject

Tabel berikut menjelaskan parameter input tindakan MoveObject.

Nama parameter Diperlukan Jenis data Deskripsi
BucketSource Ya String Nama bucket tempat Anda ingin memindahkan objek.
ObjectSource Ya String Jalur lengkap folder tempat Anda ingin memindahkan objek.
BucketDestination Ya String Nama bucket tempat Anda ingin memindahkan objek.
ObjectDestination Tidak String Jalur lengkap tujuan termasuk nama objek. Jika Anda tidak menentukan nama objek apa pun, nama objek sumber akan dipertahankan.

Tindakan DeleteObject

Tabel berikut menjelaskan parameter input dari tindakan DeleteObject.

Nama parameter Diperlukan Jenis data Deskripsi
BucketSource Ya String Nama bucket tempat objek yang akan dihapus ada.
ObjectSource Ya String Nama objek yang ingin dihapus.
Generasi Tidak Ganda Versi objek yang akan dihapus. Jika ada, secara permanen revisi objek yang ditentukan akan dihapus, bukan versi terbaru, yang merupakan perilaku default.
IfGenerationMatch Tidak Ganda Membuat operasi hapus menjadi bersyarat terkait apakah pembuatan objek saat ini cocok dengan nilai yang diberikan. Menetapkan nilai ini ke 0 akan membuat operasi berhasil hanya jika tidak ada versi aktif objek.
IfGenerationNotMatch Tidak Ganda Membuat operasi penghapusan menjadi bersyarat terkait apakah pembuatan objek saat ini tidak cocok dengan nilai yang diberikan. Jika tidak ada objek live, prasyarat akan gagal. Menetapkan nilai ini ke 0 akan membuat operasi berhasil hanya jika ada versi aktif dari objek tersebut.
IfMetagenerationMatch Tidak Ganda Membuat operasi hapus menjadi kondisional apakah metapembuatan objek saat ini cocok dengan nilai yang ditentukan.
IfMetagenerationNotMatch Tidak Ganda Membuat operasi penghapusan menjadi kondisional apakah metapembuatan objek saat ini tidak cocok dengan nilai yang ditentukan.

Tindakan SignURL

Tabel berikut menjelaskan parameter input dari tindakan SignURL yang membuat URL yang ditandatangani untuk objek yang ditentukan.

Nama parameter Diperlukan Jenis data Deskripsi
Bucket Ya String Nama bucket tempat objek berada.
Objek Ya String Nama objek untuk menghasilkan SignedURL.
RequestMethod Tidak String Metode yang akan digunakan permintaan yang ditandatangani. Nilai defaultnya adalah GET.
Location Tidak String Lokasi bucket yang ditentukan. Nilai defaultnya adalah auto.
ActiveDateTime Tidak String dateTime saat SignedURL akan aktif. Jika tidak ditentukan, dateTime saat ini akan digunakan.
Mengkueri Tidak String String kueri yang harus disertakan saat menggunakan SignedURL. Jika tidak ditentukan, tidak ada string kueri yang akan digunakan.
CustomHeaders Tidak String Daftar name=value header yang dipisahkan koma untuk digunakan dengan SignedURL. Jika tidak ditentukan, header kustom tidak akan digunakan.
ExpiresIn Ya String Waktu habis masa berlaku untuk SignedURL harus dalam format: 1d2h3m4s, nilai maksimumnya adalah 7d0h0m0s.
HmacAccessKey Tidak String Kunci akses HMAC. Untuk informasinya, lihat kunci HMAC.
HmacSecret Tidak String Rahasia HMAC.

Contoh

Contoh di bagian ini menjelaskan operasi berikut:

  • Mencantumkan semua objek
  • Mencantumkan semua objek dalam bucket
  • Mencantumkan semua bucket
  • Download objek
  • Download objek biner
  • Mengupload bbjek ke bucket
  • Mengupload objek ke folder
  • Salin objek
  • Memindahkan objek
  • Menghapus objek
  • Membuat URL yang ditandatangani untuk objek

Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:

Tugas Konfigurasi
Mencantumkan semua objek
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entity Objects, lalu pilih operasi List.
  3. Klik Done.

Tindakan ini akan mencantumkan semua objek di semua bucket. Objek ini tercantum dalam parameter respons connectorOutputPayload tugas Connectors.
Mencantumkan semua objek dalam bucket
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entity Objects, lalu pilih operasi List.
  3. Klik Done.
  4. Tetapkan filterClause ke nama bucket tempat Anda ingin mencantumkan objek. Untuk menetapkan klausa, di bagian Task Input dari tugas Connectors, klik filterClause lalu masukkan Bucket = 'BUCKET_NAME' di kolom Default Value. Misalnya, Bucket = 'bucket_01'.
Mencantumkan semua bucket
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entity Buckets, lalu pilih operasi List.
  3. Klik Done.
Download objek
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DownloadObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    
{
  "Bucket": "bucket-test-01",
  "ObjectFilePath": "logfile.txt"
}

    4. Contoh ini akan mendownload file logfile.txt. Konten file yang didownload tersedia untuk Anda dalam format JSON di parameter respons connectorOutputPayload tugas Connectors.
Download objek biner

Langkah-langkah untuk mendownload objek biner sama dengan mendownload objek biasa seperti yang dijelaskan sebelumnya. Selain itu, Anda harus menentukan HasBytes sebagai true dalam kolom connectorInputPayload. Ini akan mendownload objek sebagai string berenkode Base64. Contoh nilai untuk kolom connectorInputPayload:


{
"Bucket": "bucket-test-01",
"ObjectFilePath": "image01.png",
"HasBytes" : true
}

Jika download berhasil, output di kolom connectorOutputPayload akan terlihat seperti berikut:


{
"Success": "true",
"ContentBytes": "SGVsbG8gdGVzdCE\u003d"
}
Mengupload bbjek ke bucket
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan UploadObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"Content": "Hello test!",
"Bucket": "bucket-test-01",
"ObjectName" : "test-file-01.txt"
}

    4. Contoh ini akan membuat file test-file-01.txt dengan isi Hello test! di bucket bucket-test-01. Jika sudah ada file dengan nama test-file-01.txt, file tersebut akan ditimpa.
Mengupload objek ke folder
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan UploadObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"Content": "Hello test!",
"Bucket": "bucket-test-01",
"ObjectName" : "folderA/test-file-01.txt"
}

    4. Contoh ini akan membuat file test-file-01.txt dengan konten Hello test! dalam folder folderA bucket-test-01. Jika folder tersebut memiliki file yang sudah ada dengan nama test-file-01.txt, file tersebut akan ditimpa.
Salin objek
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan CopyObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"BucketSource": "bucket_01",
"ObjectSource": "folderA/logfile.txt",
"BucketDestination": "bucket_02",
"ObjectDestination": "folderB/logfile.txt"
}

    4. Contoh ini menyalin file folderA/logfile.txt dari bucket_01 ke folderB/logfile.txt di bucket_02.

Jika penyalinan berhasil, output di kolom connectorOutputPayload akan terlihat seperti berikut:


{
"Success": "true"
}
Memindahkan objek
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"BucketSource": "bucket_01",
"ObjectSource": "folderA/logfile.txt",
"BucketDestination": "bucket_02",
"ObjectDestination": "folderB/logfile.txt"
}

    4. Contoh ini memindahkan file folderA/logfile.txt dari bucket_01 ke folderB/logfile.txt di bucket_02.

Jika penyalinan berhasil, output di kolom connectorOutputPayload akan terlihat seperti berikut:


{
"Success": "true"
}
Menghapus objek
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DeleteObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"BucketSource": "bucket_01",
"ObjectSource": "logfile.txt"
}

    4. Contoh ini menghapus file logfile.txt dari bucket_01.

Jika penyalinan berhasil, output di kolom connectorOutputPayload akan terlihat seperti berikut:


{
"Success": "true"
}
Membuat URL yang ditandatangani untuk objek
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan SignURL, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    
{
"Bucket": "bucket-test-01",
"ObjectName" : "test-file-01.txt"
}

    4. Contoh ini membuat URL bertanda tangan untuk file test-file-01.txt yang ada di bucket bucket-test-01. Jika tindakan berhasil, Anda akan mendapatkan URL yang ditandatangani dalam respons yang serupa seperti berikut:

    
{
"Success": "true",
"SignURL": "https://storage.googleapis.com/example-bucket/cat.jpeg?X-Goog-Algorithm=
GOOG4-RSA-SHA256&X-Goog-Credential=example%40example-project.iam.gserviceaccount
.com%2F20181026%2Fus-central1%2Fstorage%2Fgoog4_request&X-Goog-Date=20181026T18
1309Z&X-Goog-Expires=900&X-Goog-SignedHeaders=host&X-Goog-Signature=247a2aa45f16
9edf4d187d54e7cc46e4731b1e6273242c4f4c39a1d2507a0e58706e25e3a85a7dbb891d62afa849
6def8e260c1db863d9ace85ff0a184b894b117fe46d1225c82f2aa19efd52cf21d3e2022b3b868dc
c1aca2741951ed5bf3bb25a34f5e9316a2841e8ff4c530b22ceaa1c5ce09c7cbb5732631510c2058
0e61723f5594de3aea497f195456a2ff2bdd0d13bad47289d8611b6f9cfeef0c46c91a455b94e90a
66924f722292d21e24d31dcfb38ce0c0f353ffa5a9756fc2a9f2b40bc2113206a81e324fc4fd6823
a29163fa845c8ae7eca1fcf6e5bb48b3200983c56c5ca81fffb151cca7402beddfc4a76b13344703
2ea7abedc098d2eb14a7"
}

Pertimbangan

  • Objek yang dapat didownload dapat memiliki ukuran maksimum sebesar 10 MB.
  • Anda tidak dapat mengupload beberapa file menggunakan tindakan UploadObject. Anda hanya dapat mengupload satu file.

Gunakan terraform untuk membuat koneksi

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Diperlukan Deskripsi
project_id STRING Benar ID project Google Cloud tempat data berada.

Menggunakan koneksi Cloud Storage dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya