Pengantar pemuatan, transformasi, dan ekspor data

Dokumen ini memberikan ringkasan tentang kemampuan integrasi data berikut di BigQuery:

  • Memuat dan mengubah data di BigQuery, menggunakan pendekatan ekstrak, muat, dan transformasi (ELT) atau pendekatan ekstrak, transformasi, dan muat (ETL).
  • Mengekspor data dari BigQuery untuk menerapkan insight di sistem lain, yang juga disebut sebagai ETL terbalik.

Memuat data dari sumber, mengubah data, lalu mengekspor hasilnya

Memuat dan mengubah data

Biasanya, data diubah sebelum atau setelah dimuat ke BigQuery. Dua pendekatan umum untuk integrasi data, ETL dan ELT, dijelaskan di bagian berikut.

Pendekatan integrasi data ELT

Dengan pendekatan ekstrak, muat, dan transformasi, Anda melakukan integrasi data dalam dua langkah terpisah:

  • Mengekstrak dan memuat data
  • Mengubah data

Misalnya, Anda dapat mengekstrak dan memuat data dari sumber file JSON ke dalam tabel BigQuery. Kemudian, Anda dapat menggunakan pipeline untuk mengekstrak dan mengubah kolom menjadi tabel target.

Pendekatan ELT dapat menyederhanakan alur kerja integrasi data Anda dengan cara berikut:

  • Menghilangkan kebutuhan alat pemrosesan data lainnya
  • Membagi proses integrasi data yang sering kali rumit menjadi dua bagian yang dapat dikelola
  • Memanfaatkan kemampuan BigQuery sepenuhnya untuk menyiapkan, mentransformasi, dan mengoptimalkan data Anda dalam skala besar

Mengekstrak dan memuat data

Dalam pendekatan integrasi data ELT, Anda mengekstrak data dari sumber data dan memuatnya ke BigQuery menggunakan salah satu metode pemuatan atau akses data eksternal yang didukung.

Mentransformasi data

Setelah memuat data ke BigQuery, Anda dapat menyiapkan dan mengubah data dengan alat berikut:

  • Untuk mem-build, menguji, mendokumentasikan, dan menjadwalkan pipeline transformasi data SQL lanjutan secara kolaboratif, gunakan Dataform.
  • Untuk alur kerja transformasi data yang lebih kecil yang menjalankan kode SQL atau notebook Python sesuai jadwal, gunakan alur kerja (dalam Pratinjau).
  • Untuk membersihkan data Anda untuk analisis, gunakan persiapan data yang ditingkatkan dengan AI (dalam Pratinjau).

Untuk informasi selengkapnya, lihat Pengantar transformasi.

Pendekatan integrasi data ETL

Dalam pendekatan ekstrak, transformasi, dan muat, Anda mengekstrak dan mengubah data sebelum mencapai BigQuery. Pendekatan ini bermanfaat jika Anda sudah memiliki proses untuk transformasi data, atau jika Anda ingin mengurangi penggunaan resource di BigQuery.

Cloud Data Fusion dapat membantu memfasilitasi proses ETL Anda. BigQuery juga berfungsi dengan partner pihak ketiga yang mengubah dan memuat data ke BigQuery.

Mengekspor data

Setelah memproses dan menganalisis data di BigQuery, Anda dapat mengekspor hasil untuk menerapkannya di sistem lain. BigQuery mendukung ekspor berikut:

  • Mengekspor hasil kueri ke file lokal, Google Drive, Google Spreadsheet
  • Mengekspor tabel atau hasil kueri ke Cloud Storage, Bigtable, Spanner, dan Pub/Sub

Proses ini disebut ETL terbalik.

Untuk informasi selengkapnya, lihat Pengantar ekspor data.

Langkah selanjutnya