Sumber batch database

Halaman ini berisi panduan tentang cara mengonfigurasi sumber batch Database plugin di Cloud Data Fusion.

Anda dapat menggunakan sumber generik ini kapan pun Anda perlu membaca dari database. Sebagai Anda dapat menggunakannya untuk membuat snapshot harian dari tabel database generik dan menulis {i>outputnya<i} ke BigQuery.

Mengonfigurasi plugin

  1. Buka antarmuka web Cloud Data Fusion lalu klik Studio.
  2. Pastikan Data Pipeline - Batch dipilih (bukan Realtime).
  3. Di menu Source, klik Database.
  4. Untuk mengonfigurasi plugin, arahkan kursor ke node plugin, lalu klik Properti.

  5. Masukkan properti berikut. Untuk informasi selengkapnya tentang setiap properti, lihat Properti.

    1. Masukkan Label untuk node database—untuk contoh, database tables.

    2. Masukkan detail koneksi. Anda dapat mengatur koneksi satu kali yang baru, atau koneksi lama yang bisa digunakan kembali.

      Koneksi baru

      Untuk menambahkan koneksi satu kali ke {i>database<i}, ikuti langkah-langkah langkah:

      1. Tetap nonaktifkan Gunakan koneksi.
      2. Masukkan properti koneksi berikut:
        1. Di bidang {i>driver name<i} JDBC, masukkan nama {i>driver<i}, jika ada. Jika tidak, biarkan No JDBC plugin yang dipilih.
        2. Di kolom Connection string, masukkan koneksi JDBC {i>string<i}, termasuk nama {i>database<i}.
        3. Opsional: jika database memerlukan autentikasi, masukkan nama pengguna dan kredensial {i> database<i}.
        4. Opsional: jika {i>driver<i} JDBC Anda memerlukan konfigurasi tambahan, di kolom Argumen koneksi, masukkan nilai kunci argumen untuk koneksi.

      Koneksi yang dapat digunakan kembali

      Untuk menggunakan kembali koneksi yang ada, ikuti langkah-langkah berikut:

      1. Aktifkan Gunakan koneksi.
      2. Klik Jelajahi koneksi.

      3. Pilih koneksi.

      4. Opsional: jika koneksi tidak ada dan Anda ingin membuat koneksi baru yang dapat digunakan kembali, klik Tambahkan koneksi, lalu lihat langkah-langkah di tab Koneksi baru di halaman ini.

    3. Opsional: untuk menguji konektivitas, klik Get schema. Skema ini digunakan sebagai pengganti skema apa pun yang kembali dari kueri. Harus cocok dengan skema yang berasal dari kueri, kecuali Anda bisa menandai kolom sebagai nullable dan dapat berisi subset kolom.

    4. Di kolom Impor kueri, masukkan kueri SELECT untuk mengimpor data dari tabel yang ditentukan—misalnya, select id, name, email, phone from users;.

    5. Opsional: di kolom Kueri pembatas, masukkan nilai minimum dan maksimum nilai yang akan dibaca—misalnya, SELECT * FROM table WHERE $CONDITIONS.

    6. Opsional: di kolom Split-by field name, masukkan nama yang menghasilkan pemisahan.

    7. Opsional: di kolom Jumlah pemisahan yang akan dibuat, masukkan nomor — misalnya, 2.

    8. Opsional: di kolom Ukuran pengambilan, masukkan angka—misalnya, 1000.

    9. Opsional: masukkan Properti lanjutan, seperti mengubah huruf besar/kecil nama kolom.

  6. Opsional: klik Validasi dan tangani error yang ditemukan.

  7. Klik Close. Properti disimpan dan Anda dapat terus membangun pipeline data di Cloud Data Fusion Studio.

Properti

Properti Makro diaktifkan Wajib Deskripsi
Label Tidak Ya Nama node di pipeline data Anda.
Gunakan koneksi Tidak Tidak Cari koneksi ke sumber. Jika Use connection dipilih, Anda tidak perlu memberikannya memiliki kredensial yang lengkap.
Koneksi Ya Ya Nama koneksi yang akan digunakan. Jika Gunakan koneksi dipilih, bidang ini akan muncul. Informasi {i>database<i} dan tabel yang disediakan oleh koneksi.
Nama driver JDBC Ya Ya Driver JDBC yang akan digunakan.
Defaultnya adalah Tidak ada plugin JDBC.
String koneksi Ya Ya String koneksi JDBC, termasuk nama database.
Username Ya Tidak Identitas pengguna untuk terhubung ke database. Diperlukan untuk database yang memerlukan otentikasi. Opsional untuk {i>database<i} yang tidak memerlukan autentikasi.
Password Ya Tidak Kata sandi yang akan digunakan untuk terhubung ke database yang ditentukan. Wajib untuk {i>database<i} yang membutuhkan otentikasi. Opsional untuk {i>database<i} yang tidak memerlukan otentikasi.
Argumen koneksi Ya Tidak Daftar pasangan tag/nilai string arbitrer sebagai argumen koneksi. Untuk driver JDBC yang memerlukan konfigurasi tambahan, argumen berikut diteruskan ke driver JDBC sebagai argumen koneksi dalam format: key1=value1;key2=value.
Nama referensi Tidak Ya Nama yang mengidentifikasi sumber ini secara unik untuk silsilah dan anotasi {i>metadata<i}. Biasanya berupa nama tabel atau tampilan.
Mendapatkan skema Tidak Tidak Skema kumpulan data yang dihasilkan oleh sumber. Model ini digunakan sebagai pengganti skema yang dimunculkan oleh kueri. Nama tersebut harus cocok dengan skema yang ada kembali dari kueri, kecuali bahwa ini memungkinkan Anda menandai kolom sebagai nullable dan itu dapat berisi {i>subset <i}dari {i>field<i}.
Mengimpor kueri Ya Ya Kueri SELECT untuk mengimpor data dari kueri yang ditentukan tabel sementara. Anda dapat menentukan jumlah kolom yang akan diimpor, atau impor semua kolom menggunakan *. Kueri harus berisi String $CONDITIONS. Misalnya, SELECT * FROM table WHERE $CONDITIONS. Tujuan String $CONDITIONS diganti dengan kolom splitBy batas yang ditentukan di kolom Kueri pembatas. Tujuan String $CONDITIONS tidak diperlukan jika Jumlah splits ditetapkan ke 1.
Kueri pembatas Ya Tidak Kueri pembatas yang mengembalikan nilai minimum dan maksimum dari kolom pemisahan. Misalnya, SELECT MIN(id),MAX(id) FROM table. Tidak diperlukan jika jumlah bagian ditetapkan ke 1.
Dipisahkan menurut nama kolom Ya Tidak Nama kolom yang digunakan untuk membuat pemisahan. Tidak diperlukan jika jumlah pemisahan yang akan dihasilkan ditetapkan ke 1.
Jumlah pemisahan yang akan dibuat Ya Tidak Jumlah pemisahan yang akan dihasilkan.
Defaultnya adalah 1.
Ukuran pengambilan Ya Tidak Jumlah baris yang akan diambil per pemisahan. Ukuran pengambilan yang lebih besar dapat mempercepat proses impor, dengan imbal balik penggunaan memori yang lebih tinggi.
Defaultnya adalah 1000.
Mengaktifkan commit otomatis Tidak Tidak Menentukan apakah akan mengaktifkan commit otomatis untuk kueri yang dijalankan oleh sumber ini. Pertahankan disetel ke False kecuali Anda menggunakan driver JDBC yang menyebabkan {i>error<i} ketika operasi commit sedang dijalankan.
Defaultnya adalah False.
Kapitalisasi nama kolom Ya Tidak Menetapkan huruf besar/kecil dari nama kolom yang ditampilkan dari kueri. Anda dapat memilih huruf besar atau huruf kecil. Secara default, atau untuk input lainnya, nama kolom tidak dimodifikasi dan huruf besar/kecil dikembalikan dari {i>database<i} digunakan. Menetapkan properti ini memberikan prediktabilitas kapitalisasi nama kolom di seluruh {i>database<i} yang berbeda, tetapi itu dapat menyebabkan nama kolom akan bentrok jika beberapa nama kolom sama saat kapitalisasi akan diabaikan.
Defaultnya adalah Tidak ada perubahan.
Tingkat isolasi transaksi Ya Tidak Level isolasi transaksi untuk kueri yang dijalankan oleh sink ini. Untuk selengkapnya informasi tersebut, lihat setTransactionIsolation() Driver JDBC Phoenix menampilkan pengecualian jika database Phoenix transaksi belum diaktifkan dan bidang ini disetel ke true. Untuk pengemudi seperti itu, setel kolom ini ke TRANSACTION_NONE.
Defaultnya adalah TRANSACTION_SERIALIZABLE.
Pola yang akan diganti Tidak Tidak Pola yang akan diganti pada nama {i>field<i} dalam tabel (biasanya digunakan dengan properti Ganti dengan). Jika Properti Ganti dengan tidak ditetapkan, pola dihapus dari nama kolom.
Ganti dengan Tidak Tidak String yang diganti pada nama kolom di tabel. Anda harus mengonfigurasi kolom Pola yang akan diganti.
Skema output Tidak Tidak Menentukan skema yang dihasilkan. Hanya kolom yang ditentukan dalam skema termasuk dalam kumpulan data output.

Praktik terbaik

Periksa apakah plugin yang lebih spesifik tersedia untuk database Anda. Misalnya, jika Anda memiliki sumber database Oracle, sebagai gantinya gunakan sumber batch database Oracle karena dirancang untuk bekerja dengan skema Oracle.

Langkah selanjutnya