FTP

Konektor FTP memungkinkan Anda terhubung ke server FTP dan melakukan operasi transfer file.

Sebelum memulai

Sebelum menggunakan konektor FTP, lakukan tugas berikut:

  • Di project Google Cloud Anda:
    • Pastikan konektivitas jaringan sudah disiapkan. Untuk mengetahui informasi tentang pola jaringan, lihat Konektivitas jaringan.
    • Berikan peran IAM roles/connectors.admin kepada pengguna yang mengonfigurasi konektor.
    • Berikan peran IAM berikut ke akun layanan yang ingin Anda gunakan untuk konektor:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Akun layanan adalah jenis Akun Google khusus yang dimaksudkan untuk mewakili pengguna non-manusia yang perlu diautentikasi dan diberi otorisasi untuk mengakses data di Google API. Jika tidak memiliki akun layanan, Anda harus membuat akun layanan. Untuk informasi selengkapnya, lihat Membuat akun layanan.

    • Aktifkan layanan berikut:
      • secretmanager.googleapis.com (Secret Manager API)
      • connectors.googleapis.com (Connectors API)

      Untuk memahami cara mengaktifkan layanan, lihat Mengaktifkan layanan.

    Jika layanan atau izin ini belum diaktifkan untuk project Anda sebelumnya, Anda akan diminta untuk mengaktifkannya saat mengonfigurasi konektor.

Mengonfigurasi konektor

Untuk mengonfigurasi konektor, Anda harus membuat koneksi ke sumber data (sistem backend). Koneksi bersifat khusus untuk sumber data. Artinya, jika memiliki banyak sumber data, Anda harus membuat koneksi terpisah untuk setiap sumber data. Untuk membuat koneksi, lakukan langkah-langkah berikut:

  1. Di konsol Cloud, buka halaman Konektor Integrasi > Koneksi, lalu pilih atau buat project Google Cloud.

    Buka halaman Koneksi

  2. Klik + Buat baru untuk membuka halaman Buat Koneksi.
  3. Di bagian Location, pilih lokasi untuk koneksi.
    1. Region: Pilih lokasi dari menu drop-down.

      Untuk mengetahui daftar semua region yang didukung, lihat Lokasi.

    2. Klik Berikutnya.
  4. Di bagian Connection Details, selesaikan tindakan berikut:
    1. Konektor: Pilih FTP dari menu drop-down Konektor yang tersedia.
    2. Versi konektor: Pilih versi Konektor dari menu drop-down versi yang tersedia.
    3. Di kolom Connection Name, masukkan nama untuk instance Connection.

      Nama koneksi harus memenuhi kriteria berikut:

      • Nama koneksi dapat menggunakan huruf, angka, atau tanda hubung.
      • Huruf harus berupa huruf kecil.
      • Nama koneksi harus diawali dengan huruf dan diakhiri dengan huruf atau angka.
      • Nama koneksi tidak boleh melebihi 49 karakter.
    4. Secara opsional, masukkan Description untuk instance koneksi.
    5. Secara opsional, aktifkan Cloud Logging, lalu pilih level log. Secara default, level log ditetapkan ke Error.
    6. Service Account: Pilih akun layanan yang memiliki peran yang diperlukan.
    7. Secara opsional, konfigurasikan Setelan node koneksi:

      • Jumlah node minimum: Masukkan jumlah minimum node koneksi.
      • Maximum number of nodes: Masukkan jumlah maksimum node koneksi.

      Node adalah unit (atau replika) koneksi yang memproses transaksi. Semakin banyak node yang diperlukan untuk memproses lebih banyak transaksi untuk koneksi, dan sebaliknya, semakin sedikit node yang diperlukan untuk memproses lebih sedikit transaksi. Untuk memahami pengaruh node terhadap harga konektor, lihat Harga untuk node koneksi. Jika Anda tidak memasukkan nilai apa pun, secara default, node minimum ditetapkan ke 2 (untuk ketersediaan yang lebih baik) dan node maksimum ditetapkan ke 50.

    8. File Retrieval Depth: Tentukan tingkat kedalaman folder yang ingin Anda kueri dari tabel Root.
    9. Pasif: Mengontrol apakah akan mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
    10. Jalur Jarak Jauh: Jalur saat ini di server FTP.
    11. Mode SSL: Mekanisme autentikasi yang akan digunakan saat terhubung ke server FTP.
    12. Kedalaman Tabel: Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
    13. Gunakan MLSD: Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.
    14. Secara opsional, klik + Tambahkan label untuk menambahkan label ke Koneksi dalam bentuk pasangan nilai kunci.
    15. Klik Berikutnya.
  5. Di bagian Destinations, masukkan detail host jarak jauh (sistem backend) yang ingin Anda hubungkan.
    1. Jenis Tujuan: Pilih Jenis Tujuan.
      • Pilih Host address dari daftar untuk menentukan nama host atau alamat IP tujuan.
      • Jika Anda ingin membuat koneksi pribadi ke sistem backend, pilih Endpoint attachment dari daftar, lalu pilih lampiran endpoint yang diperlukan dari daftar Endpoint Attachment.

      Jika ingin membuat koneksi publik ke sistem backend dengan keamanan tambahan, Anda dapat mempertimbangkan untuk mengonfigurasi alamat IP keluar statis untuk koneksi, lalu mengonfigurasi aturan firewall untuk hanya mengizinkan alamat IP statis tertentu.

      Untuk memasukkan tujuan tambahan, klik +Tambahkan Tujuan.

    2. Klik Berikutnya.
  6. Di bagian Authentication, masukkan detail autentikasi.
    1. Pilih Jenis autentikasi dan masukkan detail yang relevan.

      Jenis autentikasi berikut didukung oleh koneksi FTP:

      • Nama pengguna dan sandi

      2. Untuk memahami cara mengonfigurasi jenis autentikasi ini, lihat Mengonfigurasi autentikasi.

    2. Klik Berikutnya.
  7. Tinjau: Tinjau detail koneksi dan autentikasi Anda.
  8. Klik Create.

Mengonfigurasi autentikasi

Masukkan detail berdasarkan autentikasi yang ingin Anda gunakan.

  • Nama pengguna dan sandi
    • Nama pengguna: Nama pengguna FTP yang akan digunakan untuk koneksi.
    • Sandi: Secret Secret Manager yang berisi sandi yang terkait dengan nama pengguna FTP.

Entity, operasi, dan tindakan

Semua Konektor Integrasi menyediakan lapisan abstraksi untuk objek aplikasi yang terhubung. Anda hanya dapat mengakses objek aplikasi melalui abstraksi ini. Abstraksi ditampilkan kepada Anda sebagai entitas, operasi, dan tindakan.

  • Entity: Entity dapat dianggap sebagai objek, atau kumpulan properti, dalam aplikasi atau layanan yang terhubung. Definisi entitas berbeda dari konektor ke konektor. Misalnya, dalam konektor database, tabel adalah entitas, dalam konektor server file, folder adalah entitas, dan dalam konektor sistem pesan, antrean adalah entitas.

    Namun, mungkin konektor tidak mendukung atau memiliki entity apa pun, dalam hal ini, daftar Entities akan kosong.

  • Operasi: Operasi adalah aktivitas yang dapat Anda lakukan pada entity. Anda dapat melakukan salah satu operasi berikut pada entitas:

    Memilih entitas dari daftar yang tersedia akan menghasilkan daftar operasi yang tersedia untuk entitas tersebut. Untuk deskripsi mendetail tentang operasi, lihat operasi entity tugas Konektor. Namun, jika konektor tidak mendukung operasi entitas apa pun, operasi yang tidak didukung tersebut tidak akan tercantum dalam daftar Operations.

  • Tindakan: Tindakan adalah fungsi kelas satu yang tersedia untuk integrasi melalui antarmuka konektor. Tindakan memungkinkan Anda membuat perubahan pada satu atau beberapa entitas, dan bervariasi dari satu konektor ke konektor lainnya. Biasanya, tindakan akan memiliki beberapa parameter input, dan parameter output. Namun, konektor mungkin tidak mendukung tindakan apa pun, dalam hal ini daftar Actions akan kosong.

Batasan sistem

Konektor FTP dapat memproses 1 transaksi per detik, per node, dan mencegah transaksi apa pun melebihi batas ini. Secara default, Konektor Integrasi mengalokasikan 2 node (untuk ketersediaan yang lebih baik) untuk koneksi.

Untuk mengetahui informasi tentang batas yang berlaku untuk Konektor Integrasi, lihat Batas.

Tindakan

Bagian ini mencantumkan beberapa tindakan yang didukung oleh konektor. Untuk memahami cara mengonfigurasi tindakan, lihat Contoh tindakan.

Tindakan upload

Tabel berikut menjelaskan parameter input tindakan Upload.

Nama parameter Jenis data Wajib Deskripsi
Konten String Tidak Konten yang akan diupload sebagai file.
ContentBytes String Tidak Konten byte (sebagai string Base64) untuk diupload sebagai file. Gunakan ini untuk mengupload data biner.
HasBytes Boolean Tidak Menentukan apakah konten harus diupload sebagai byte. Nilai defaultnya adalah false.
RemoteFile String Ya Nama file di host jarak jauh.
Timpa Boolean Tidak Menentukan apakah file jarak jauh harus ditimpa. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Upload, lihat Contoh.

Tindakan download

Tabel berikut menjelaskan parameter input tindakan Download.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Nama file di host jarak jauh.
HasBytes Boolean Tidak Menentukan apakah konten harus didownload sebagai byte. Nilai defaultnya adalah false.

Untuk contoh cara mengonfigurasi tindakan Download, lihat Contoh.

Tindakan MoveFile

Tabel berikut menjelaskan parameter input tindakan MoveFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur file jarak jauh yang akan dipindahkan.
DestinationPath String Ya Jalur baru tempat Anda ingin memindahkan file.

Untuk contoh cara mengonfigurasi tindakan MoveFile, lihat Contoh.

Tindakan RenameFile

Tabel berikut menjelaskan parameter input tindakan RenameFile.

Nama parameter Jenis data Wajib Deskripsi
RemoteFile String Ya Jalur dan nama file jarak jauh yang akan diganti namanya.
NewFileName String Ya Nama baru file jarak jauh.

Untuk contoh cara mengonfigurasi tindakan RenameFile, lihat Contoh.

Contoh

Bagian ini menjelaskan cara melakukan beberapa operasi dan tindakan entitas di konektor ini. Contoh ini menjelaskan operasi berikut:

  • Mencantumkan semua file di direktori root
  • Mencantumkan file yang cocok dengan pola di direktori
  • Memindahkan file
  • Mengganti nama file
  • Menghapus file
  • Mengupload file teks ASCII
  • Mengupload file biner
  • Mendownload file teks ASCII
  • Mendownload file biner

Tabel berikut mencantumkan contoh skenario dan konfigurasi yang sesuai dalam tugas Konektor:

Tugas Contoh perintah Konfigurasi
Mencantumkan semua file di direktori root ls /
  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih entitas Root, lalu pilih operasi List.
  3. Klik Done.
Mencantumkan file .csv dalam direktori ls /tmp/*.csv
  1. Pada dialog Configure connector task, klik Entities.
  2. Pilih direktori dasar (/tmp) dari daftar Entity.
  3. Pilih operasi List, lalu klik Done.
  4. Tetapkan klausa filter. Untuk menetapkan klausa, di bagian Task Input pada tugas Connectors, klik filterClause, lalu masukkan FilePath LIKE '/tmp/%.csv' di kolom Default Value.
Memindahkan file mv /tmp/dir_A/hello_world.txt /dir_B/dir_C/
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan MoveFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/dir_A/hello_world.txt",
"DestinationPath": "/dir_B/dir_C/"
}

Contoh ini memindahkan file /tmp/dir_A/hello_world.txt ke direktori /dir_B/dir_C/. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut ini dalam variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Mengganti nama file mv /tmp/hello_world.txt /tmp/hello_world_new.txt
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan RenameFile, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan nilai yang mirip dengan berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/hello_world.txt",
"NewFilename": "hello_world_new.txt"
}

Contoh ini mengganti nama file hello_world.txt menjadi hello_world_new.txt. Menjalankan contoh ini akan menampilkan respons yang mirip dengan berikut ini dalam variabel output connectorOutputPayload tugas Connector:

[{
"Success":"true"
}]
Menghapus file rm /tmp/myfile.csv
  1. Pada dialog Configure connector task, klik Entities.
  2. Dari daftar Entity, pilih direktori dasar yang memiliki file yang akan dipindahkan.
  3. Pilih operasi Delete, lalu klik Done.
  4. Tetapkan ID entitas ke jalur lengkap file. Untuk menetapkan ID entitas, di bagian Task Input pada tugas Connectors, klik entityId, lalu masukkan /tmp/myfile.csv di kolom Default Value.

    Atau, alih-alih menentukan entityId, Anda juga dapat menetapkan filterClause ke FilePath LIKE '/tmp/myfile.csv'.
Mengupload file teks ASCII put file_1.txt /tmp/file_1.txt
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan kode berikut di kolom Default Value: 
    {
  "Content": "This is a sample text!\r\n",
  "RemoteFile": "/tmp/file_1.txt",
  "Overwrite": true
}

    4. Contoh ini membuat file file_1.txt yang memiliki konten This is a sample text! di direktori /tmp server FTP. Dan file yang ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mengupload file biner put image_1.png /tmp/image_1.png Untuk mengupload konten biner, Anda harus mengenkode konten terlebih dahulu dalam format Base64. Anda dapat memilih alat pilihan untuk enkode konten. Langkah-langkah untuk mengenkode konten berada di luar cakupan dokumen ini. Setelah Anda memiliki konten sebagai string Base64, lakukan langkah-langkah berikut:
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan Upload, lalu klik Selesai.
  3. Di bagian Task Input pada tugas Connectors, klik connectorInputPayload, lalu masukkan kode berikut di kolom Default Value: 
    {
  "ContentBytes": "SGVsbG8gd29ybGQ=",
  "RemoteFile": "/tmp/image_1.png",
  "Overwrite": true,
  "HasBytes": true
}

    4. Contoh ini membuat file image_1.png dengan konten seperti yang ditentukan di kolom ContentBytes. File dibuat di direktori /tmp server FTP. Dan file yang ada dengan nama yang sama akan ditimpa karena nilai atribut Overwrite adalah true.

    Menetapkan atribut Overwrite bersifat opsional; secara default, nilainya adalah false.

Mendownload file teks ASCII get /tmp/myfile.txt
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan kode berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.txt"
}

Konten file yang didownload tersedia sebagai string di kolom Content dari parameter respons connectorOutputPayload tugas Konektor.

Mendownload file biner get /tmp/myfile.png
  1. Pada dialog Configure connector task, klik Actions.
  2. Pilih tindakan Download, lalu klik Selesai.
  3. Di bagian Task Output pada tugas Connectors, klik connectorInputPayload, lalu masukkan kode berikut di kolom Default Value: 
    {
"RemoteFile": "/tmp/myfile.png",
"HasBytes" : true
}

Konten file yang didownload tersedia sebagai string berenkode Base64 di kolom ContentBytes parameter respons connectorOutputPayload tugas Konektor.

Skema JSON untuk payload

Semua objek entitas dalam koneksi FTP memiliki skema JSON yang telah ditentukan sebelumnya. Dengan pemahaman yang baik tentang skema, Anda dapat dengan mudah mengonfigurasi nilai payload input atau output. Objek entity dalam koneksi FTP menggunakan skema JSON berikut:

  {
    "type": "object",
    "properties": {
      "FilePath": {
        "type": "string",
        "readOnly": false
      },
      "Filename": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false,
        "description": "The name of the file or directory."
      },
      "FileSize": {
        "type": [
          "number",
          "null"
        ],
        "readOnly": false,
        "description": "The size of the file."
      },
      "LastModified": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "IsDirectory": {
        "type": [
          "boolean",
          "null"
        ],
        "readOnly": false
      },
      "Permissions": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Owner": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "OwnerId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "Group": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      },
      "GroupId": {
        "type": [
          "string",
          "null"
        ],
        "readOnly": false
      }
    }
  }

Konfigurasi dinamis filterClause

Untuk operasi List, Update, dan Delete, Anda dapat menetapkan nilai variabel input filterClasue secara dinamis saat runtime menggunakan tugas Pemetaan Data dalam integrasi Anda. Misalnya, Anda mungkin ingin mengirim nilai klausa filter saat memanggil pemicu API dalam integrasi. Gambar berikut menunjukkan contoh pemetaan untuk variabel filterClause di editor Pemetaan Data pada tugas Pemetaan Data: menetapkan klausa filter di editor pemetaan data

Menggunakan terraform untuk membuat koneksi

Anda dapat menggunakan resource Terraform untuk membuat koneksi baru.

Untuk mempelajari cara menerapkan atau menghapus konfigurasi Terraform, lihat Perintah dasar Terraform.

Untuk melihat contoh template terraform untuk pembuatan koneksi, lihat contoh template.

Saat membuat koneksi ini menggunakan Terraform, Anda harus menetapkan variabel berikut dalam file konfigurasi Terraform:

Nama parameter Jenis data Wajib Deskripsi
file_retrieval_depth STRING Salah Tentukan tingkat kedalaman folder yang ingin Anda buat kueri dari tabel Root.
pasif BOOLEAN Salah Mengontrol apakah akan mengarahkan server ke mode pasif. Direkomendasikan jika berada di balik firewall.
remote_path STRING Salah Jalur saat ini di server FTP.
table_depth INTEGER Salah Tingkat kedalaman untuk menampilkan subfolder sebagai tampilan.
use_mlsd BOOLEAN Salah Menggunakan listingan untuk pemrosesan mesin. Hanya digunakan untuk server FTP.

Menggunakan koneksi FTP dalam integrasi

Setelah Anda membuat koneksi, koneksi tersebut akan tersedia di Integration Apigee dan Integration Aplikasi. Anda dapat menggunakan koneksi dalam integrasi melalui tugas Konektor.

  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Apigee Integration, lihat Tugas konektor.
  • Untuk memahami cara membuat dan menggunakan tugas Konektor di Integrasi Aplikasi, lihat Tugas konektor.

Mendapatkan bantuan dari komunitas Google Cloud

Anda dapat memposting pertanyaan dan mendiskusikan konektor ini di komunitas Google Cloud di Cloud Forums.

Langkah selanjutnya