Alat dan fitur developer

Dokumen ini berisi ringkasan tentang beberapa fitur dan alat yang membantu Anda mengembangkan solusi dengan BigQuery.

Diagram arsitektur BigQuery.

Fitur developer

Bagian ini menjelaskan beberapa fitur bawaan umum bagi developer yang menggunakan BigQuery.

Memuat dan mentransformasi data

BigQuery menawarkan cara untuk melakukan pemuatan batch, melakukan streaming, dan menghasilkan data baru. Untuk memilih opsi terbaik bagi kasus penggunaan Anda, lihat Pengantar pemuatan data.

Kueri

BigQuery dioptimalkan untuk menjalankan kueri analisis yang ditulis dalam GoogleSQL pada set data besar. Anda dapat menjadwalkan, menyimpan, dan membagikan kueri yang berjalan pada data yang disimpan di BigQuery, data eksternal, data yang disimpan di cloud lain, atau set data publik.

Fungsi jarak jauh

Anda dapat menggunakan fungsi jarak jauh untuk men-deploy fungsi di fungsi Cloud Run atau Cloud Run, lalu panggil mereka langsung dari kueri GoogleSQL Anda. Pendekatan ini sangat berguna jika Anda perlu menerapkan fungsi dalam bahasa selain SQL atau JavaScript. Anda dapat menggunakan fungsi jarak jauh untuk banyak hal, seperti menerjemahkan teks dalam tabel dari satu bahasa ke bahasa lainnya, dengan memulai tindakan seperti memberi tahu Anda kapan nilai dalam tabel turun hingga di bawah nilai minimum, atau menjalankan transformasi batch seperti menerapkan model machine learning (ML).

Machine learning

Anda dapat menggunakan BigQuery ML untuk membuat dan menjalankan model ML menggunakan kueri GoogleSQL.

Prosedur tersimpan SQL

Anda dapat menggunakan prosedur yang disimpan di SQL untuk memanggil kumpulan pernyataan dari kueri lain atau prosedur tersimpan. Anda dapat memanggil prosedur tersimpan bawaan atau menulisnya sendiri, yang memungkinkan Anda menentukan variabel dan menerapkan alur kontrol.

Data semi-terstruktur

Anda dapat menggunakan data JSON di GoogleSQL untuk menyerap data semi-terstruktur ke BigQuery tanpa memberikan skema di awal. Anda dapat menggunakan operator akses kolom untuk membuat kueri nilai kolom dan elemen array secara langsung.

Perjalanan waktu

Anda dapat menggunakan perjalanan waktu untuk mengakses data yang tersimpan di BigQuery yang telah diubah atau dihapus kapan saja dalam tujuh hari terakhir. Fitur ini memungkinkan Anda memulihkan tabel yang diperbarui, dihapus, atau berakhir masa berlakunya meskipun Anda belum mencadangkan data.

Snapshot tabel

Anda dapat menggunakan snapshot tabel jika perlu mencadangkan tabel dari titik waktu di luar periode perjalanan waktu. BigQuery hanya menyimpan byte yang berbeda antara snapshot dan tabel dasarnya. Oleh karena itu, snapshot tabel biasanya menggunakan lebih sedikit penyimpanan daripada salinan tabel penuh.

Clone tabel

Anda dapat menggunakan clone tabel untuk membuat tabel versi dan menguji perubahan skema tabel. Clone tabel adalah salinan ringan dan dapat ditulis dari tabel lain. Anda hanya dikenai biaya untuk penyimpanan data dalam clone tabel yang berbeda dari tabel dasar, sehingga pada awalnya tidak ada biaya penyimpanan untuk clone tabel.

Tabel eksternal

Anda dapat membuat kueri tabel eksternal langsung dari BigQuery, seperti data dalam database Google Cloud yang berbeda, file di Cloud Storage, atau dalam produk cloud yang berbeda. Fitur ini memungkinkan Anda menjalankan workload ELT dengan satu kueri atau menggabungkan tabel BigQuery dengan data yang sering berubah dari sumber lain.

Fungsi yang ditentukan pengguna

Anda dapat menulis fungsi yang ditentukan pengguna (UDF) di GoogleSQL atau JavaScript yang dapat digunakan kembali di seluruh kueri. Anda dapat mengizinkan UDF sebagai rutinitas, yang memungkinkan Anda berbagi hasil kueri dengan pengguna atau grup tertentu tanpa memberi pengguna atau grup tersebut akses ke tabel pokok.

BigQuery API

BigQuery menawarkan REST dan gRPC API untuk berinteraksi secara terprogram dengan berbagai jenis layanannya. Anda dapat mengautentikasi identitas klien untuk mengakses API menggunakan akun layanan atau akun pengguna. API berikut tersedia:

Untuk mengetahui informasi selengkapnya tentang penawaran setiap API, lihat ringkasan library dan BigQuery API.

Library BigQuery DataFrames

DataFrame BigQuery adalah Python API yang dapat Anda gunakan untuk menganalisis data dan menjalankan tugas machine learning di BigQuery. Anda dapat memeriksa kode sumber untuk API di GitHub.

Memulai dengan DataFrame BigQuery menggunakan panduan memulai DataFrame BigQuery.

Library klien

Library klien memungkinkan Anda mengakses BigQuery API secara langsung menggunakan bahasa pemrograman pilihan Anda, termasuk C#, Go, Java, Node.js, PHP, Python, dan Ruby. Untuk melihat resource ini untuk BigQuery API, pilih salah satu bahasa berikut:

C#

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

Go

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

Java

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

Node.js

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

PHP

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

Python

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Membaca, mengajukan, dan menjawab pertanyaan yang terkait dengan library klien BigQuery.

Ruby

  • Panduan memulai. Ikuti petunjuk langkah demi langkah untuk menjalankan kueri di BigQuery menggunakan library klien.
  • Dokumentasi referensi API. Lihat deskripsi metode dan objek yang didukung untuk bahasa Anda.
  • Kode sumber GitHub. Lihat kode sumber untuk library klien BigQuery di GitHub.
  • Stack Overflow. Baca, ajukan, dan jawab pertanyaan yang terkait dengan library klien BigQuery.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan library klien BigQuery di lingkungan lokal Anda, lihat library klien BigQuery API.

Contoh kode

Anda dapat mencari contoh kode BigQuery yang menyediakan cuplikan lengkap untuk menyelesaikan tugas umum di BigQuery, seperti membuat tabel, mencantumkan koneksi, melihat komitmen dan pemesanan kapasitas, serta memuat data. Untuk melihat contoh, pilih API, tugas, dan bahasa pilihan Anda.

Alat dan layanan terprogram

Layanan berikut terintegrasi dengan BigQuery, yang menawarkan kemampuan tambahan untuk membuat solusi:

  • Dataproc. Layanan terkelola sepenuhnya untuk menjalankan tugas Apache Hadoop dan Apache Spark. Dataproc menyediakan konektor BigQuery, yang memungkinkan Hadoop dan Spark langsung memproses data dari BigQuery.
  • Dataflow. Layanan terkelola sepenuhnya untuk menjalankan tugas Apache Beam dalam skala besar. Konektor I/O BigQuery untuk Beam memungkinkan pipeline Beam membaca dan menulis data ke dan dari BigQuery.
  • Cloud Composer. Layanan orkestrasi alur kerja terkelola sepenuhnya yang memanfaatkan Apache Airflow. Operator BigQuery memungkinkan alur kerja Airflow mengelola set data dan tabel, menjalankan kueri, serta memvalidasi data.
  • Pub/Sub. Layanan pesan asinkron dan skalabel. Pub/Sub menyediakan langganan BigQuery untuk menulis pesan ke tabel BigQuery yang ada saat pesan diterima.

Continuous integration dan deployment

Opsi berikut membantu Anda mengelola dan mengotomatiskan alur kerja developer dengan BigQuery:

  • Modul Terraform BigQuery. Modul untuk mengotomatiskan pembuatan instance dan deployment set data serta tabel BigQuery.
  • alat command line bq. Alat command line berbasis Python untuk BigQuery.
  • Dataform. Layanan bagi analis data untuk mengembangkan, menguji, mengontrol versi, dan menjadwalkan alur kerja SQL yang kompleks untuk transformasi data di BigQuery.
  • dbt. Framework untuk membantu Anda mengatur dan men-deploy alur kerja, menguji dan membuat katalog data, serta menggunakan kembali potongan kode sebagai makro.
  • Liquibase. Solusi manajemen perubahan skema database yang memungkinkan Anda merevisi dan merilis perubahan dengan cepat dan aman dari pengembangan hingga produksi.

Driver ODBC dan JDBC

Dengan driver Open Database Connectivity (ODBC) dan Java Database Connectivity (JDBC), Anda dapat menulis aplikasi software netral database dalam bahasa pemrograman populer untuk menghubungkan BigQuery ke infrastruktur yang ada. Untuk mengetahui informasi selengkapnya dan rilis driver terbaru, baca driver ODBC dan JDBC untuk BigQuery.

Langkah berikutnya

  • Untuk informasi selengkapnya tentang acara dan resource mendatang bagi developer Google Cloud, lihat pusat developer.
  • Untuk mengetahui informasi selengkapnya tentang cara perusahaan lain menggunakan Google Cloud, lihat cloud data untuk ISV.
  • Untuk mengetahui informasi lebih lanjut tentang solusi partner tervalidasi yang terintegrasi dengan BigQuery, lihat Google Cloud Ready - BigQuery.