Amazon S3

Konektor Amazon S3 memberikan akses SQL ke Bucket dan objek Amazon S3.

Sebelum memulai

Sebelum menggunakan konektor Amazon S3, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Pastikan konektivitas jaringan sudah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Untuk mengonfigurasi konektor, Anda harus membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di konsol Cloud, buka halaman Konektor Integrasi > Koneksi, lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
  3. Di bagian Location, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Region yang didukung untuk konektor meliputi:

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

    2. Klik Berikutnya.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih Amazon S3 dari daftar drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
    4. Secara opsional, masukkan Description untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Service Account: Pilih akun layanan yang memiliki peran yang diperlukan.
    7. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
      • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    8. Region AWS: Region tempat instance Amazon S3 Anda dihosting
    9. Secara opsional, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan nilai kunci.
    10. Klik Berikutnya.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Pilih Host address dari daftar untuk menentukan nama host atau alamat IP tujuan.
      • Jika Anda ingin membuat koneksi pribadi ke sistem backend, pilih Endpoint attachment dari daftar, lalu pilih lampiran endpoint yang diperlukan dari daftar Endpoint Attachment.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +Tambahkan tujuan.

    2. Klik Berikutnya.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Amazon S3:

      • Kredensial root
      • Peran AWS IAM
      • Kredensial Sementara AWS

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik Berikutnya.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Kredensial root

    Untuk mengautentikasi menggunakan kredensial root akun.

    • Kunci Akses AWS: Kunci akses pengguna root
    • AWS Access Secret: Kunci rahasia pengguna root
  • Peran AWS IAM

    Untuk melakukan autentikasi menggunakan peran AWS IAM.

    • Kunci Akses AWS: Kunci akses pengguna IAM yang akan menjalankan peran untuk
    • AWS Access Secret: Kunci rahasia pengguna IAM yang akan menjalankan peran untuk
    • AWS Role ARN: Tentukan ARN Peran untuk peran yang ingin Anda gunakan untuk melakukan autentikasi. Hanya kredensial untuk peran yang ditentukan yang akan diambil.
    • AWS External Id: Hanya diperlukan jika Anda mengambil peran di akun lain.
  • Kredensial Sementara AWS

    Untuk mengautentikasi menggunakan kredensial sementara

    • Kunci Akses AWS: Kunci akses pengguna IAM yang akan menjalankan peran untuk
    • AWS Access Secret: Kunci rahasia pengguna IAM yang akan menjalankan peran untuk
    • Token Sesi AWS: Token ini dibuat bersama dengan kredensial sementara.
    • AWS Role ARN: Tentukan ARN Peran untuk peran yang ingin Anda gunakan untuk melakukan autentikasi. Hanya kredensial untuk peran yang ditentukan yang akan diambil.
    • AWS External Id: Hanya diperlukan jika Anda mengambil peran di akun lain.

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, dalam konektor database, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

    Namun, mungkin konektor tidak mendukung atau memiliki entity apa pun, dalam hal ini, daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak akan tercantum dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas satu yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, konektor mungkin tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan CopyObject

Tindakan ini memungkinkan Anda menyalin objek dari satu bucket ke bucket lain atau dalam bucket yang sama.

Parameter input tindakan CopyObject

Nama Parameter Jenis Data Wajib Deskripsi
BucketSource String Ya Nama bucket tempat objek akan disalin.
ObjectSource Objek Ya Nama objek yang akan disalin.
BucketDestination String Ya Nama bucket tempat objek akan disalin.
ObjectDestination String Tidak Nama objek di bucket tujuan. Jika tidak ditentukan, nama akan sama dengan nama asli.

Parameter output tindakan CopyObject

Tindakan ini menampilkan status 200 (OK) jika penyalinan berhasil.

Untuk memahami cara mengonfigurasi tindakan CopyObject, lihat Contoh tindakan.

Tindakan DownloadObjects

Tindakan ini akan mendapatkan satu objek lagi dari bucket.

Parameter input tindakan DownloadObjects

Nama Parameter Jenis Data Wajib Deskripsi
Bucket String Ya Nama bucket tempat objek yang akan didownload berada.
Objek String Tidak Nama objek yang harus didownload. Jika tidak ditentukan, semua objek dari bucket yang ditentukan akan didownload.
HasBytes Boolean Ya Menentukan apakah konten harus didownload sebagai string yang dienkode Base64.
UpdatedStartDate Datetime Tidak Tanggal mulai rentang waktu untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari yang paling lama hingga UpdatedEndDate.
UpdatedEndDate Datetime Tidak Tanggal akhir rentang waktu untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari UpdatedStartDate yang ditentukan hingga hari ini.

Parameter output tindakan DownloadObjects

Tindakan ini menampilkan status 200 (OK) jika download berhasil.

Untuk memahami cara mengonfigurasi tindakan DownloadObjects, lihat Contoh tindakan.

Tindakan UploadObject

Tindakan ini memungkinkan Anda mengupload objek ke bucket.

Parameter input tindakan UploadObject

Nama Parameter Jenis Data Wajib Deskripsi
Bucket String Ya Nama bucket tempat objek akan diupload.
ContentBytes String Tidak Konten byte yang akan diupload sebagai file.
HasBytes Boolean Ya Menentukan apakah konten harus diupload sebagai string yang dienkode Base64.
AccessPolicy String Tidak Kebijakan akses untuk objek ini. Nilai yang diizinkan adalah PRIVATE, ANONREAD, ANONREADWRITE, dan AUTHREAD. Nilai defaultnya adalah PRIVATE.
Konten String Tidak Konten yang akan diupload.
FileName String Tidak Nama file yang akan diupload. Nilai ini diperlukan saat Anda menentukan parameter FileContent.

Parameter output tindakan UploadObject

Tindakan ini menampilkan status 200 (OK) jika upload objek berhasil.

Untuk memahami cara mengonfigurasi tindakan UploadObject, lihat Contoh tindakan.

Tindakan DeleteObject

Tindakan ini memungkinkan Anda menghapus objek dari bucket.

Parameter input tindakan DeleteObject

Nama Parameter Jenis Data Wajib Deskripsi
Bucket String Ya Nama bucket tempat objek yang akan dihapus berada.
Objek String Ya Nama objek yang harus dihapus.

Parameter output tindakan DeleteObject

Tindakan ini menampilkan status 200 (OK) jika penghapusan berhasil.

Untuk memahami cara mengonfigurasi tindakan DeleteObject, lihat Contoh tindakan.

Tindakan MoveObject

Tindakan ini memungkinkan pengguna memindahkan objek yang ada dari bucket tertentu ke bucket lain atau dalam bucket yang sama.

Parameter input tindakan MoveObject

Nama Parameter Jenis Data Wajib Deskripsi
BucketSource String Ya Nama bucket sumber tempat objek yang akan dipindahkan berada.
ObjectSource String Ya Nama objek yang harus dipindahkan.
BucketDestination String Ya Nama bucket tujuan tempat objek akan dipindahkan.
ObjectDestination String Tidak Nama objek di bucket tujuan. Jika tidak ditentukan, nama asli akan dipertahankan.

Parameter output tindakan MoveObject

Tindakan ini menampilkan status 200 (OK) jika operasi pemindahan berhasil.

Untuk memahami cara mengonfigurasi tindakan MoveObject, lihat Contoh tindakan.

Tindakan PutBucketAcl

Tindakan ini memungkinkan Anda memperbarui Daftar Kontrol Akses (ACL) bucket.

Parameter input tindakan PutBucketAcl

Nama Parameter Jenis Data Wajib Deskripsi
Bucket String Ya Nama bucket yang ACL-nya akan diterapkan.
ACL String Ya Tingkat akses yang akan diterapkan untuk bucket.

Parameter output tindakan PutBucketAcl

Tindakan ini akan menampilkan status 200 (OK) jika pembaruan ACL bucket berhasil.

Untuk memahami cara mengonfigurasi tindakan PutBucketAcl, lihat Contoh tindakan.

Tindakan PutObjectAcl

Tindakan ini memungkinkan Anda memperbarui Daftar Kontrol Akses (ACL) objek di bucket.

Parameter input tindakan PutObjectAcl

Nama Parameter Jenis Data Wajib Deskripsi
Bucket String Ya Nama bucket tempat objek berada.
ACL String Ya Tingkat akses yang akan diterapkan untuk objek.
KEY String Ya Nama objek yang ACL-nya akan diterapkan.

Parameter output tindakan PutObjectAcl

Tindakan ini menampilkan status 200 (OK) jika pembaruan ACL objek berhasil.

Untuk memahami cara mengonfigurasi tindakan PutObjectAcl, lihat Contoh tindakan.

Contoh tindakan

Bagian ini menjelaskan cara melakukan beberapa tindakan di konektor ini.

Contoh - Menyalin objek

Contoh ini menyalin objek dari satu bucket ke bucket lain.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan CopyObject, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas CopyObject akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "Success"
}]

Contoh - Mendownload objek

Contoh ini mendownload objek dari bucket yang ditentukan.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan DownloadObjects, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DownloadObjects akan memiliki nilai yang mirip dengan berikut:

    [{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

Contoh - Mengupload objek

Contoh ini mengupload objek ke bucket yang ditentukan.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan UploadObject, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas UploadObject akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

Contoh - Menghapus objek

Contoh ini menghapus objek dari bucket yang ditentukan.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan DeleteObject, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas DeleteObject akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "Success"
}]

Contoh - Memindahkan objek

Contoh ini memindahkan objek dari satu bucket ke bucket lain.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveObject, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas MoveObject akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "Success"
}]

Contoh - Memperbarui ACL bucket

Contoh ini memperbarui izin kontrol akses untuk bucket.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan PutBucketAcl, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas PutBucketAcl akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "Success"
}]

Contoh - Memperbarui ACL objek

Contoh ini memperbarui izin kontrol akses untuk objek di bucket.

  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan PutObjectAcl, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}

    4. Jika tindakan berhasil, parameter respons connectorOutputPayload tugas PutObjectAcl akan memiliki nilai yang mirip dengan berikut:

    [{
"Status": "Success"
}]

Contoh operasi entity

Bagian ini menunjukkan cara melakukan beberapa operasi entity di konektor ini.

Contoh - Mencantumkan metadata semua objek

Contoh ini mengambil metadata semua objek dalam entitas Object.

  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih Object dari daftar Entity.
  3. Pilih operasi List, lalu klik Selesai.
  4. Secara opsional, di bagian Input Tugas pada tugas Konektor, Anda dapat memfilter set hasil dengan menentukan klausa filter. Tentukan nilai klausa filter selalu dalam tanda kutip tunggal ('). Misalnya, Bucket='test-bucket'. Anda juga dapat menentukan beberapa kondisi filter menggunakan operator logika. Sebagai contoh, Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'

Contoh - Mendapatkan metadata bucket

Contoh ini mendapatkan metadata bucket dengan ID yang ditentukan dari entitas Bucket.

  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Get, lalu klik Selesai.
  4. Di bagian Task Input pada tugas Connectors, klik EntityId, lalu masukkan demo_replication di kolom Default Value.

    Di sini, demo_replication adalah ID bucket unik dalam entitas Bucket.

Contoh - Membuat bucket

Contoh ini membuat bucket di entitas Bucket.

  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Create, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "Demo1697528098686"
}

    Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor Anda akan memiliki nilai yang mirip dengan berikut ini:

    [{
"Bucket": "Demo1697528098686"
}]

Contoh - Menghapus bucket

Contoh ini menghapus bucket dengan ID yang ditentukan dalam entitas Bucket.

  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Delete, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan demo1697528098686 di kolom Default Value.

Menggunakan koneksi Amazon S3 dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Integration Apigee dan Integration Aplikasi. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya