FTP

Konektor FTP memungkinkan Anda terhubung ke server FTP dan melakukan operasi transfer file.

Sebelum memulai

Sebelum menggunakan konektor FTP, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu melakukan autentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Mengonfigurasi konektor mengharuskan Anda membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di Konsol Cloud, buka halaman Integration Connectors > Connections, lalu pilih atau buat project Google Cloud.

    Buka halaman Connections

  2. Klik + Create new untuk membuka halaman Create Connection.
  3. Di bagian Lokasi, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua wilayah yang didukung, lihat Lokasi.

    2. Klik Next.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih FTP dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus kecil.
      • Nama koneksi harus dimulai dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh lebih dari 63 karakter.
    4. Secara opsional, masukkan Deskripsi untuk instance koneksi.
    5. Akun Layanan: Pilih akun layanan yang memiliki peran yang diperlukan.
    6. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah minimum node: Masukkan jumlah minimum node koneksi.
      • Jumlah maksimum node: Masukkan jumlah maksimum node koneksi.

      {i>Node<i} adalah unit (atau replika) koneksi yang memproses transaksi. Lebih banyak node diperlukan untuk memproses lebih banyak transaksi untuk sebuah koneksi dan sebaliknya, lebih sedikit node diperlukan untuk memproses transaksi yang lebih sedikit. Untuk memahami pengaruh node terhadap harga konektor Anda, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default node minimum akan ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    7. Kedalaman Pengambilan File: Menentukan tingkat kedalaman folder yang ingin Anda kueri dari tabel Root.
    8. Pasif: Mengontrol apakah mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
    9. Remote Path: Jalur saat ini di server FTP.
    10. Mode SSL: Mekanisme autentikasi yang digunakan saat terhubung ke server FTP.
    11. Kedalaman Tabel: Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
    12. Gunakan MLSD: Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.
    13. Secara opsional, klik + Add label untuk menambahkan label ke Connection dalam bentuk key-value pair.
    14. Klik Next.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      1. Di kolom Host address, tentukan nama host atau alamat IP tujuan.
        1. Jika ingin membuat koneksi pribadi ke sistem backend, ikuti langkah-langkah berikut:
          1. Buat lampiran layanan PSC.
          2. Buat lampiran endpoint, lalu masukkan detail lampiran endpoint di kolom Alamat host.
        2. Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi Anda, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +Tambahkan Tujuan.

    2. Klik Next.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi, lalu masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi FTP:

      • Nama pengguna dan sandi

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik Next.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna FTP yang akan digunakan untuk koneksi.
    • Sandi: Rahasia Secret Manager berisi sandi yang terkait dengan nama pengguna FTP.

Entitas, operasi, dan tindakan

Semua Integration Connectors menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entity, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entity berbeda dari konektor ke konektor. Misalnya, pada konektor database, tabel adalah entity, pada konektor server file, folder adalah entity, dan di konektor sistem pesan, antrean adalah entity.

    Namun, mungkin saja konektor tidak mendukung atau memiliki entitas, dalam hal ini daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entity dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entity tersebut. Untuk deskripsi operasi secara mendetail, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung salah satu operasi entity, operasi yang tidak didukung tersebut tidak akan dicantumkan dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas pertama yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Namun, mungkin saja konektor tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Keterbatasan sistem

Konektor FTP dapat memproses 1 transaksi per detik, per node, dan men-throttle setiap transaksi di luar batas ini. Secara default, Integration Connectors mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk satu koneksi.

Untuk informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan upload

Tabel berikut menjelaskan parameter input dari tindakan Upload.

Nama parameter Jenis data Diperlukan Deskripsi
Konten String Tidak Konten yang akan diupload sebagai file.
ContentBytes String Tidak Konten byte (sebagai string Base64) yang akan diupload sebagai file. Gunakan ini untuk mengupload data biner.
HasBytes Boolean Tidak Menentukan apakah konten harus diupload sebagai byte. Nilai defaultnya adalah false.
RemoteFile String Ya Nama file pada host jarak jauh.
Timpa Boolean Tidak Menentukan apakah file jarak jauh harus ditimpa. Nilai defaultnya adalah false.

Untuk mengetahui contoh cara mengonfigurasi tindakan Upload, lihat Contoh.

Tindakan download

Tabel berikut menjelaskan parameter input dari tindakan Download.

Nama parameter Jenis data Diperlukan Deskripsi
RemoteFile String Ya Nama file pada host jarak jauh.
HasBytes Boolean Tidak Menentukan apakah konten harus didownload sebagai byte. Nilai defaultnya adalah false.

Untuk mengetahui contoh cara mengonfigurasi tindakan Download, lihat Contoh.

Tindakan MoveFile

Tabel berikut menjelaskan parameter input dari tindakan MoveFile.

Nama parameter Jenis data Diperlukan Deskripsi
RemoteFile String Ya Jalur file jarak jauh yang akan dipindahkan.
DestinationPath String Ya Jalur baru tempat Anda ingin memindahkan file.

Untuk mengetahui contoh cara mengonfigurasi tindakan MoveFile, lihat Contoh.

Tindakan RenameFile

Tabel berikut menjelaskan parameter input dari tindakan RenameFile.

Nama parameter Jenis data Diperlukan Deskripsi
RemoteFile String Ya Jalur dan nama file jarak jauh yang akan diganti namanya.
NewFileName String Ya Nama baru file jarak jauh.

Untuk mengetahui contoh cara mengonfigurasi tindakan RenameFile, lihat Contoh.

Contoh

Bagian ini menjelaskan cara melakukan beberapa operasi dan tindakan entity di konektor ini. Contoh tersebut menjelaskan operasi berikut:

  • Menampilkan daftar semua file pada direktori {i>root<i}
  • Menampilkan daftar file yang cocok dengan pola dalam direktori
  • Memindahkan file
  • Mengganti nama file
  • Menghapus file
  • Upload file teks ASCII
  • Upload file biner
  • Download file teks ASCII
  • Download file biner

Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:

Tugas Contoh perintah Konfigurasi
Menampilkan daftar semua file pada direktori {i>root<i} ls /
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih entity Root, lalu pilih operasi List.
  3. Klik Done.
Buat daftar file .csv dalam direktori ls /tmp/*.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Pilih direktori dasar (/tmp) dari daftar Entity.
  3. Pilih operasi List, lalu klik Done.
  4. Menetapkan klausa filter. Untuk menetapkan klausa, di bagian Task Input pada tugas Connectors, klik filterClause lalu masukkan FilePath LIKE '/tmp/%.csv' di kolom Default Value.
Memindahkan file mv /tmp/dir_A/hello_world.txt /dir_B/dir_C/
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveFile, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/dir_A/hello_world.txt",
"DestinationPath": "/dir_B/dir_C/"
}

Contoh ini memindahkan file /tmp/dir_A/hello_world.txt ke direktori /dir_B/dir_C/. Menjalankan contoh ini akan menampilkan respons yang serupa dengan berikut ini dalam variabel output connectorOutputPayload tugas konektor:

[{
"Success":"true"
}]
Mengganti nama file mv /tmp/hello_world.txt /tmp/hello_world_new.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan RenameFile, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/hello_world.txt",
"NewFilename": "hello_world_new.txt"
}

Contoh ini mengganti nama file hello_world.txt menjadi hello_world_new.txt. Menjalankan contoh ini akan menampilkan respons yang serupa dengan berikut ini dalam variabel output connectorOutputPayload tugas konektor:

[{
"Success":"true"
}]
Menghapus file rm /tmp/myfile.csv
  1. Dalam dialog Configure connector task, klik Entities.
  2. Dari daftar Entity, pilih direktori dasar yang memiliki file yang akan dipindahkan.
  3. Pilih operasi Delete, lalu klik Done.
  4. Tetapkan ID entity ke jalur lengkap file. Untuk menetapkan ID entity, di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan /tmp/myfile.csv di kolom Default Value.

    Atau, daripada menentukan entityId, Anda juga dapat menetapkan filterClause ke FilePath LIKE '/tmp/myfile.csv'.
Upload file teks ASCII put file_1.txt /tmp/file_1.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    {
  "Content": "This is a sample text!\r\n",
  "RemoteFile": "/tmp/file_1.txt",
  "Overwrite": true
}

    4. Contoh ini akan membuat file file_1.txt yang memiliki konten This is a sample text! di direktori /tmp server FTP. Dan file apa pun dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Upload file biner put image_1.png /tmp/image_1.png Untuk mengupload konten biner, Anda harus terlebih dahulu mengenkode konten dalam format Base64. Anda dapat memilih alat pilihan Anda untuk mengenkode konten. Langkah-langkah untuk mengenkode konten berada di luar cakupan dokumen ini. Setelah Anda memiliki konten sebagai string Base64, lakukan langkah-langkah berikut:
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Done.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload lalu masukkan kode berikut di kolom Default Value: 
    {
  "ContentBytes": "SGVsbG8gd29ybGQ=",
  "RemoteFile": "/tmp/image_1.png",
  "Overwrite": true,
  "HasBytes": true
}

    4. Contoh ini akan membuat file image_1.png dengan konten seperti yang ditentukan dalam kolom ContentBytes. File ini dibuat di direktori /tmp server FTP. Dan file apa pun dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default nilainya adalah false.

Download file teks ASCII get /tmp/myfile.txt
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Done.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload lalu masukkan berikut ini di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.txt"
}

Konten file yang didownload tersedia sebagai string di kolom Content dari parameter respons connectorOutputPayload tugas konektor.

Download file biner get /tmp/myfile.png
  1. Dalam dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Done.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload lalu masukkan berikut ini di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.png",
"HasBytes" : true
}

Konten file yang didownload tersedia sebagai string berenkode Base64 di kolom ContentBytes parameter respons connectorOutputPayload tugas konektor.

Skema JSON untuk payload

Semua objek entity dalam koneksi FTP memiliki skema JSON yang telah ditentukan. Dengan pemahaman skema yang baik, Anda dapat dengan mudah mengonfigurasi nilai payload input atau output. Objek entity dalam koneksi FTP menggunakan skema JSON berikut:

  {
    "type": "object",
    "properties": {
      "FilePath": {
        "type": "string",
        "readOnly": false
      },
      "Filename": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false,
        "description": "The name of the file or directory."
      },
      "FileSize": {
        "type": [
          "number",
          "null"
        ],
        "readOnly": false,
        "description": "The size of the file."
      },
      "LastModified": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "IsDirectory": {
        "type": [
          "boolean",
          "null"
        ],
        "readOnly": false
      },
      "Permissions": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Owner": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "OwnerId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Group": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "GroupId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      }
    }
  }

Konfigurasi dinamis filterKlausul

Untuk operasi Daftar, Perbarui, dan Hapus, Anda dapat menetapkan nilai variabel input filterClasue secara dinamis saat waktu proses menggunakan tugas Pemetaan Data dalam integrasi Anda. Misalnya, Anda mungkin ingin mengirim nilai klausa filter saat memanggil pemicu API dalam integrasi Anda. Gambar berikut menunjukkan contoh pemetaan untuk variabel filterClause dalam editor Pemetaan Data tugas Pemetaan Data: menetapkan klausa filter di editor pemetaan data

Gunakan terraform untuk membuat koneksi

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Diperlukan Deskripsi
file_retrieval_depth STRING Salah Tentukan tingkat kedalaman folder yang ingin Anda kueri dari tabel Root.
pasif BOOLEAN Salah Mengontrol apakah akan mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
remote_path STRING Salah Jalur saat ini di server FTP.
table_depth INTEGER Salah Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
use_mlsd BOOLEAN Salah Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.

Menggunakan koneksi FTP dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Apigee Integration dan Application Integration. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Apigee, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor dalam Application Integration, lihat tugas konektor.

Dapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya