Ringkasan Cloud Data Fusion

Cloud Data Fusion adalah layanan integrasi data perusahaan berbasis cloud dan terkelola sepenuhnya untuk membangun dan mengelola pipeline data dengan cepat. Antarmuka web Cloud Data Fusion memungkinkan Anda mem-build solusi integrasi data yang skalabel. Dengan API ini, Anda dapat terhubung ke berbagai sumber data, mengubah data, lalu mentransfernya ke berbagai sistem tujuan, tanpa harus mengelola infrastruktur.

Cloud Data Fusion didukung oleh project open source CDAP.

Mulai menggunakan Cloud Data Fusion

Anda dapat mulai menjelajahi Cloud Data Fusion dalam hitungan menit.

Jelajahi Cloud Data Fusion

Komponen utama Cloud Data Fusion dijelaskan di bagian berikut.

Project penyewa

Kumpulan layanan yang diperlukan untuk membangun dan mengorkestrasi pipeline Cloud Data Fusion dan metadata pipeline penyimpanan disediakan di project tenant, di dalam unit tenant. Project tenant terpisah dibuat untuk setiap project pelanggan, tempat instance Cloud Data Fusion disediakan. Project tenant mewarisi semua konfigurasi jaringan dan firewall dari project pelanggan.

Cloud Data Fusion: Konsol

Konsol Cloud Data Fusion, yang juga disebut sebagai bidang kontrol, adalah sekumpulan operasi API dan antarmuka web yang menangani instance Cloud Data Fusion itu sendiri, seperti membuat, menghapus, memulai ulang, dan mengupdatenya.

Cloud Data Fusion: Studio

Cloud Data Fusion Studio, juga disebut sebagai bidang data, adalah sekumpulan REST API dan operasi antarmuka web yang menangani pembuatan, eksekusi, dan pengelolaan pipeline serta artefak terkait.

Konsep

Bagian ini memperkenalkan beberapa konsep inti Cloud Data Fusion.

Konsep Deskripsi
Instance Cloud Data Fusion
  • Instance Cloud Data Fusion adalah deployment unik Cloud Data Fusion. Untuk mulai menggunakan Cloud Data Fusion, buat instance Cloud Data Fusion melalui Konsol Google Cloud.
  • Anda dapat membuat beberapa instance dalam satu project Konsol Google Cloud dan dapat menentukan region Google Cloud tempat pembuatan instance Cloud Data Fusion.
  • Berdasarkan persyaratan dan batasan biaya, Anda dapat membuat instance Developer, Basic, atau Enterprise.
  • Setiap instance Cloud Data Fusion berisi deployment Cloud Data Fusion unik dan independen yang berisi serangkaian layanan yang menangani pengelolaan siklus proses pipeline, orkestrasi, koordinasi, dan pengelolaan metadata. Layanan ini berjalan menggunakan resource yang berjalan lama dalam project tenant.
Namespace Namespace adalah pengelompokan logis aplikasi, data, dan metadata terkait dalam instance Cloud Data Fusion. Anda dapat menganggap namespace sebagai partisi instance. Dalam satu instance, satu namespace menyimpan data dan metadata suatu entity secara terpisah dari namespace lainnya.
Pipeline
  • Pipeline adalah cara mendesain data dan mengontrol alur secara visual untuk mengekstrak, mentransformasi, menggabungkan, menggabungkan, dan memuat data dari berbagai sumber data lokal dan cloud.
  • Dengan membangun pipeline, Anda dapat membuat alur kerja pemrosesan data kompleks yang dapat membantu Anda mengatasi masalah penyerapan, integrasi, dan migrasi data. Anda dapat menggunakan Cloud Data Fusion untuk membangun pipeline batch dan real-time, tergantung kebutuhan Anda.
  • Pipeline memungkinkan Anda mengekspresikan alur kerja pemrosesan data menggunakan aliran data yang logis, sementara Cloud Data Fusion menangani semua fungsi yang diperlukan untuk berjalan secara fisik di lingkungan eksekusi.
Node pipeline
  • Pada halaman Studio antarmuka web Cloud Data Fusion, pipeline direpresentasikan sebagai serangkaian node yang disusun dalam directed acyclic graph (DAG), sehingga membentuk alur satu arah.
  • Node mewakili berbagai tindakan yang dapat dilakukan dengan pipeline Anda, seperti membaca dari sumber, melakukan transformasi data, dan menulis output ke sink. Anda dapat mengembangkan pipeline data di antarmuka web Cloud Data Fusion dengan menghubungkan sumber, transformasi, sink, dan node lainnya.
Plugin
  • Plugin adalah modul yang dapat disesuaikan dan dapat digunakan untuk memperluas kemampuan Cloud Data Fusion.
  • Cloud Data Fusion menyediakan plugin untuk sumber, transformasi, penggabungan, sink, pengumpul error, penayang pemberitahuan, tindakan, dan tindakan pasca-operasi.
  • Plugin terkadang disebut sebagai node, biasanya dalam konteks antarmuka web Cloud Data Fusion.
  • Untuk menemukan dan mengakses plugin Cloud Data Fusion yang populer, lihat plugin Cloud Data Fusion.
Hub Di antarmuka web Cloud Data Fusion, untuk menjelajahi plugin, contoh pipeline, dan integrasi lainnya, klik Hub. Saat versi baru plugin dirilis, plugin tersebut akan terlihat di Hub dalam instance apa pun yang kompatibel. Hal ini berlaku meskipun instance dibuat sebelum plugin dirilis.
Pratinjau pipeline
  • Cloud Data Fusion Studio dapat digunakan untuk menguji akurasi desain pipeline menggunakan Pratinjau pada subkumpulan data.
  • Pipeline dalam pratinjau berjalan di project tenant.
Eksekusi pipeline
  • Cloud Data Fusion menciptakan lingkungan eksekusi efemeral untuk menjalankan pipeline.
  • Cloud Data Fusion mendukung Dataproc sebagai lingkungan eksekusi
  • Cloud Data Fusion menyediakan cluster Dataproc efemeral dalam project pelanggan Anda di awal proses pipeline, menjalankan pipeline menggunakan Spark di dalam cluster, lalu menghapus cluster setelah eksekusi pipeline selesai.
  • Atau, jika Anda mengelola cluster Dataproc di lingkungan terkontrol, melalui teknologi seperti Terraform, Anda juga dapat mengonfigurasi Cloud Data Fusion agar tidak menyediakan cluster. Di lingkungan tersebut, Anda dapat menjalankan pipeline terhadap cluster Dataproc yang ada.
Profil komputasi
  • Profil komputasi menentukan cara dan tempat pipeline dijalankan. Profil merangkum semua informasi yang diperlukan untuk menyiapkan dan menghapus lingkungan eksekusi fisik pipeline.
  • Misalnya, profil komputasi menyertakan hal-hal berikut:
    • Penyedia eksekusi
    • Resource (memori dan CPU)
    • Jumlah node minimum dan maksimum
    • Nilai lainnya
  • Profil diidentifikasi berdasarkan nama dan harus ditetapkan ke penyedia dan konfigurasi yang terkait. Profil dapat berada di tingkat instance Cloud Data Fusion atau di tingkat namespace.
  • Profil komputasi default Cloud Data Fusion adalah Penskalaan otomatis.
Pipeline yang dapat digunakan kembali
  • Pipeline data yang dapat digunakan kembali di Cloud Data Fusion memungkinkan pembuatan satu pipeline yang dapat menerapkan pola integrasi data ke berbagai kasus penggunaan dan set data.
  • Pipeline yang dapat digunakan kembali memberikan pengelolaan yang lebih baik dengan menetapkan sebagian besar konfigurasi pipeline pada waktu eksekusi, bukan melakukan hard-coding pada waktu desain.
Triggers
  • Cloud Data Fusion mendukung pembuatan pemicu pada pipeline data (disebut pipeline downstream), agar dapat dijalankan pada penyelesaian satu atau beberapa pipeline yang berbeda (disebut pipeline upstream). Anda dapat memilih kapan pipeline downstream berjalan—misalnya, setelah berhasil, gagal, berhenti, atau kombinasi apa pun daripadanya, saat pipeline upstream dijalankan.
  • Pemicu berguna dalam kasus berikut:
    • Membersihkan data Anda sekali, lalu menyediakannya untuk beberapa pipeline downstream untuk pemakaian.
    • Berbagi informasi, seperti argumen runtime dan konfigurasi plugin, antar-pipeline. Hal ini disebut Konfigurasi payload.
    • Memiliki kumpulan pipeline dinamis yang dapat dijalankan menggunakan data jam, hari, minggu, atau bulan, bukan menggunakan pipeline statis yang harus diperbarui setiap kali proses berjalan.

Resource Cloud Data Fusion

Pelajari resource Cloud Data Fusion:

Langkah selanjutnya