Amazon S3

Konektor Amazon S3 menyediakan akses SQL ke Bucket dan objek Amazon S3.

Sebelum memulai

Sebelum menggunakan konektor Amazon S3, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + Create new untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Region yang didukung untuk konektor mencakup:

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik Next.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih Amazon S3 dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Region AWS: Region tempat instance Amazon S3 Anda dihosting
    8. Secara opsional, klik + Add label untuk menambahkan label ke Connection dalam bentuk key-value pair.
    9. Klik Next.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      1. Di kolom Host address, tentukan nama host atau alamat IP tujuan.
        1. Jika ingin membuat koneksi pribadi ke sistem backend, ikuti langkah-langkah berikut:
          1. Buat lampiran layanan PSC.
          2. Buat lampiran endpoint, lalu masukkan detail lampiran endpoint di kolom Alamat host.
        2. Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +Tambahkan tujuan.

    2. Klik Next.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi Amazon S3:

      • Kredensial root
      • Peran IAM AWS
      • Kredensial Sementara AWS

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik Next.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Kredensial root

    Untuk mengautentikasi menggunakan kredensial root akun.

    • Kunci Akses AWS: Kunci akses pengguna root
    • AWS Access Secret: Kunci rahasia pengguna root
  • Peran IAM AWS

    Untuk mengautentikasi menggunakan peran IAM AWS.

    • Kunci Akses AWS: Kunci akses pengguna IAM untuk mengambil peran untuk
    • AWS Access Secret: Kunci rahasia pengguna IAM yang akan berperan untuk
    • AWS Role ARN: Tentukan Role ARN untuk peran yang ingin Anda autentikasikan. Hanya kredensial untuk peran yang ditentukan yang akan diambil.
    • ID Eksternal AWS: Hanya diperlukan jika Anda memiliki peran di akun lain.
  • Kredensial Sementara AWS

    Untuk mengautentikasi menggunakan kredensial sementara

    • Kunci Akses AWS: Kunci akses pengguna IAM untuk mengambil peran untuk
    • AWS Access Secret: Kunci rahasia pengguna IAM yang akan berperan untuk
    • Token Sesi AWS: Token ini dihasilkan selain kredensial sementara.
    • AWS Role ARN: Tentukan Role ARN untuk peran yang ingin Anda autentikasikan. Hanya kredensial untuk peran yang ditentukan yang akan diambil.
    • ID Eksternal AWS: Hanya diperlukan jika Anda memiliki peran di akun lain.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan CopyObject

Tindakan ini dapat Anda gunakan untuk menyalin objek dari satu bucket ke bucket lain atau dalam bucket yang sama.

Parameter input tindakan CopyObject

Nama Parameter Jenis Data Diperlukan Deskripsi
BucketSource String Ya Nama bucket tempat objek akan disalin.
ObjectSource Objek Ya Nama objek yang harus disalin.
BucketDestination String Ya Nama bucket tempat objek akan disalin.
ObjectDestination String Tidak Nama objek di bucket tujuan. Jika tidak ditentukan, nama akan sama dengan nama aslinya.

Parameter output tindakan CopyObject

Tindakan ini akan menampilkan status 200 (OK) jika penyalinan berhasil.

Untuk memahami cara mengonfigurasi tindakan CopyObject, lihat Contoh tindakan.

Tindakan DownloadObjects

Tindakan ini akan mendapatkan satu objek lagi dari bucket.

Parameter input tindakan DownloadObjects

Nama Parameter Jenis Data Diperlukan Deskripsi
Bucket String Ya Nama bucket tempat objek yang akan didownload ada.
Objek String Tidak Nama objek yang harus didownload. Jika tidak ditentukan, semua objek dari bucket yang ditentukan akan didownload.
HasBytes Boolean Ya Menentukan apakah konten harus didownload sebagai string berenkode Base64.
UpdatedStartDate Datetime Tidak Tanggal mulai rentang waktu untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari yang terlama hingga DiperbaruiEndDate.
UpdatedEndDate Datetime Tidak Tanggal akhir rentang waktu untuk mendownload objek. Jika tidak ditentukan, objek akan didownload dari UpdatesStartDate yang ditentukan hingga hari ini.

Parameter output tindakan DownloadObjects

Tindakan ini akan menampilkan status 200 (OK) jika download berhasil.

Untuk memahami cara mengonfigurasi tindakan DownloadObjects, lihat Contoh tindakan.

Tindakan UploadObject

Tindakan ini memungkinkan Anda mengupload objek ke bucket.

Parameter input tindakan UploadObject

Nama Parameter Jenis Data Diperlukan Deskripsi
Bucket String Ya Nama bucket tempat objek akan diupload.
ContentBytes String Tidak Konten byte yang akan diupload sebagai file.
HasBytes Boolean Ya Menentukan apakah konten harus diupload sebagai string berenkode Base64.
AccessPolicy String Tidak Kebijakan akses untuk objek ini. Nilai yang diizinkan adalah PRIVATE, ANONREAD, ANONREADWRITE, dan AU Item. Nilai defaultnya adalah PRIVATE.
Konten String Tidak Konten yang akan diupload.
FileName String Tidak Nama file yang akan diupload. Nilai ini wajib ada saat Anda menentukan parameter FileContent.

Parameter output tindakan UploadObject

Tindakan ini akan menampilkan status 200 (OK) jika upload objek berhasil.

Untuk memahami cara mengonfigurasi tindakan UploadObject, lihat Contoh tindakan.

Tindakan DeleteObject

Tindakan ini memungkinkan Anda menghapus objek dari bucket.

Parameter input tindakan DeleteObject

Nama Parameter Jenis Data Diperlukan Deskripsi
Bucket String Ya Nama bucket tempat objek yang akan dihapus ada.
Objek String Ya Nama objek yang harus dihapus.

Parameter output tindakan DeleteObject

Tindakan ini akan menampilkan status 200 (OK) jika penghapusan berhasil.

Untuk memahami cara mengonfigurasi tindakan DeleteObject, lihat Contoh tindakan.

Tindakan MoveObject

Tindakan ini memungkinkan pengguna memindahkan objek yang ada dalam bucket tertentu ke bucket lain atau di bucket yang sama.

Parameter input tindakan MoveObject

Nama Parameter Jenis Data Diperlukan Deskripsi
BucketSource String Ya Ada nama bucket sumber tempat objek yang akan dipindahkan.
ObjectSource String Ya Nama objek yang harus dipindahkan.
BucketDestination String Ya Nama bucket tujuan tempat objek akan dipindahkan.
ObjectDestination String Tidak Nama objek di bucket tujuan. Jika tidak ditentukan, nama aslinya akan dipertahankan.

Parameter output tindakan MoveObject

Tindakan ini akan menampilkan status 200 (OK) jika operasi pemindahan berhasil.

Untuk memahami cara mengonfigurasi tindakan MoveObject, lihat Contoh tindakan.

Tindakan PutBucketAcl

Tindakan ini memungkinkan Anda memperbarui Daftar Kontrol Akses (ACL) bucket.

Parameter input tindakan PutBucketAcl

Nama Parameter Jenis Data Diperlukan Deskripsi
Bucket String Ya Nama bucket tempat ACL harus diterapkan.
ACL String Ya Tingkat akses yang akan diterapkan untuk bucket.

Parameter output tindakan PutBucketAcl

Tindakan ini akan menampilkan status 200 (OK) jika update ACL bucket berhasil.

Untuk memahami cara mengonfigurasi tindakan PutBucketAcl, lihat Contoh tindakan.

Tindakan PutObjectAcl

Tindakan ini memungkinkan Anda memperbarui Daftar Kontrol Akses (ACL) objek dalam bucket.

Parameter input tindakan PutObjectAcl

Nama Parameter Jenis Data Diperlukan Deskripsi
Bucket String Ya Nama bucket tempat objek berada.
ACL String Ya Tingkat akses yang akan diterapkan untuk objek.
KEY String Ya Nama objek yang ACL-nya harus diterapkan.

Parameter output tindakan PutObjectAcl

Tindakan ini akan menampilkan status 200 (OK) jika update ACL objek berhasil.

Untuk memahami cara mengonfigurasi tindakan PutObjectAcl, lihat Contoh tindakan.

Contoh tindakan

Bagian ini menjelaskan cara melakukan beberapa tindakan dalam konektor ini.

Contoh - Menyalin objek

Contoh ini menyalin objek dari satu bucket ke bucket lainnya.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan CopyObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas CopyObject akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "Success"
}]

Contoh - Mendownload objek

Contoh ini mendownload objek dari bucket yang ditentukan.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DownloadObjects, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas DownloadObjects akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

Contoh - Mengupload objek

Contoh ini mengupload objek ke bucket yang ditentukan.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan UploadObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas UploadObject akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

Contoh - Menghapus objek

Contoh ini menghapus objek dari bucket yang ditentukan.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan DeleteObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas DeleteObject akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "Success"
}]

Contoh - Memindahkan objek

Contoh ini memindahkan objek dari satu bucket ke bucket lainnya.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveObject, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas MoveObject akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "Success"
}]

Contoh - Memperbarui ACL bucket

Contoh ini memperbarui izin kontrol akses untuk bucket.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan PutBucketAcl, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas PutBucketAcl akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "Success"
}]

Contoh - Memperbarui ACL objek

Contoh ini memperbarui izin kontrol akses untuk objek dalam bucket.

  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan PutObjectAcl, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}

    4. Jika tindakan tersebut berhasil, parameter respons connectorOutputPayload tugas PutObjectAcl akan memiliki nilai yang mirip dengan yang berikut:

    [{
"Status": "Success"
}]

Contoh operasi entitas

Bagian ini menunjukkan cara melakukan beberapa operasi entity di konektor ini.

Contoh - Metadata daftar semua objek

Contoh ini mengambil metadata semua objek dalam entity Object.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Object dari daftar Entity.
  3. Pilih operasi List, lalu klik Done.
  4. Secara opsional, di bagian Task Input pada tugas Connectors, Anda dapat memfilter kumpulan hasil dengan menentukan klausa filter. Tentukan nilai klausa filter selalu dalam tanda kutip tunggal ('). Misalnya, Bucket='test-bucket'. Anda juga dapat menentukan beberapa kondisi filter menggunakan operator logika. Sebagai contoh, Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'

Contoh - Mendapatkan metadata bucket

Contoh ini mendapatkan metadata bucket dengan ID yang ditentukan dari entity Bucket.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Get, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik EntityId lalu masukkan demo_replication di kolom Default Value.

    Di sini, demo_replication adalah ID bucket unik dalam entity Bucket.

Contoh - Membuat bucket

Contoh ini membuat bucket dalam entity Bucket.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Create, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"Bucket": "Demo1697528098686",
"OwnerId": "b1ecc809ad8467088afb6beed9581815e4f203f70d19553de2e5d23623ac6647",
"OwnerDisplayName": "awsr_adm.cpp"
}

    Jika integrasi berhasil, kolom connectorOutputPayload tugas konektor Anda akan memiliki nilai yang mirip dengan berikut ini:

    [{
"Bucket": "Demo1697528098686"
}]

Contoh - Menghapus bucket

Contoh ini menghapus bucket dengan ID yang ditentukan dalam entity Bucket.

  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih Bucket dari daftar Entity.
  3. Pilih operasi Delete, lalu klik Done.
  4. Di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan demo1697528098686 di kolom Default Value.

Menggunakan koneksi Amazon S3 dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya