Pengantar administrasi BigQuery

Dokumen ini berisi pengantar tugas administrasi BigQuery, dan fitur BigQuery yang membantu Anda menyelesaikannya.

Administrator BigQuery biasanya melakukan jenis tugas berikut:

  • Mengelola resource, seperti project, set data, dan tabel.
  • Mengamankan resource, sehingga akses hanya terbatas pada akun utama yang membutuhkannya.
  • Mengelola workload, seperti tugas, kueri, dan kapasitas komputasi (pemesanan).
  • Memantau resource, termasuk kuota, tugas, dan penggunaan komputasi.
  • Mengoptimalkan workload untuk mendapatkan performa terbaik sekaligus mengontrol biaya.
  • Memecahkan masalah pesan error, masalah penagihan, dan kuota.

Dokumen ini memberikan ringkasan tentang fitur yang disediakan BigQuery untuk membantu Anda melakukan tugas-tugas tersebut.

Untuk mengikuti tur fitur administrasi data BigQuery langsung di konsol Google Cloud, klik Ikuti tur.

Ikut tur produk

Alat

BigQuery menyediakan beberapa antarmuka yang dapat Anda gunakan untuk tugas-tugas administrasi. Sering kali tugas tertentu dapat dilakukan dengan beberapa alat, memungkinkan Anda memilih alat yang paling sesuai untuk Anda. Misalnya, Anda dapat membuat tabel menggunakan panel Explorer di Konsol Google Cloud, perintah bq mk --table, atau pernyataan CREATE TABLE SQL singkat ini.

  • Konsol Google Cloud Konsol Google Cloud memiliki beberapa halaman yang didedikasikan untuk administrasi BigQuery. Untuk informasi selengkapnya, lihat Menggunakan Konsol Google Cloud.

  • Pernyataan SQL Halaman BigQuery di konsol Google Cloud memiliki editor kueri yang dapat Anda gunakan untuk melakukan tugas administratif menggunakan pernyataan DDL dan DCL. Untuk informasi selengkapnya, lihat Bahasa definisi data (DDL) dan Bahasa kontrol data (DCL).

    Anda dapat menggunakan prosedur tersimpan untuk mengotomatiskan tugas administrasi yang menggunakan pernyataan SQL. Untuk informasi selengkapnya, lihat Bekerja dengan prosedur yang tersimpan.

  • Perintah bq. Alat command line bq memungkinkan Anda melakukan banyak tugas administratif menggunakan perintah bq. Anda dapat menggunakan alat command line bq untuk melakukan tugas-tugas yang tidak didukung di Konsol Google Cloud, untuk membuat prototipe kemampuan sebelum mengenkodenya dalam kueri atau metode API, atau jika Anda lebih suka menggunakan antarmuka command line. Untuk informasi selengkapnya, lihat Menggunakan alat command line bq.

Mengelola resource

Resource BigQuery mencakup organisasi, folder, project, set data, dan tabel. Bagian ini menjelaskan cara mengelola resource organisasi Anda.

Untuk mengetahui informasi tentang hierarki resource BigQuery, lihat artikel Mengelola resource BigQuery. Secara khusus, Anda dapat membuat resource Organisasi agar dapat melakukan beberapa tugas, seperti menetapkan kontrol akses, pada tingkat organisasi.

Mengelola set data

Set data adalah penampung untuk tabel. Anda dapat membuat tabel dalam set data, lalu mengelolanya sebagai kelompok. Misalnya, Anda dapat mengonfigurasi waktu habis masa berlaku tabel default set data, yang berlaku untuk semua tabel dalam set data, kecuali jika Anda menggantinya. Anda dapat menyalin grup tabel dengan membuat salinan set datanya, dan Anda dapat mengontrol akses ke tabel di level set data.

Lihat dokumen berikut untuk informasi lebih lanjut tentang administrasi set data:

Mengelola Tabel

Di BigQuery, data disimpan dalam tabel, yang dapat dikueri. Anda dapat membuat tabel, memuat data ke dalam tabel dari berbagai jenis sumber dan dalam berbagai format, tabel partisi berdasarkan kolom tertentu atau menurut waktu penyerapan, tabel cluster, memperbarui properti tabel, dan mengekspor data tabel.

Lihat dokumen berikut untuk informasi selengkapnya tentang administrasi tabel:

Memberi label pada resource

Untuk membantu mengatur resource BigQuery, Anda dapat menambahkan label ke set data, tabel, dan tampilan. Label adalah key-value pair yang dapat dilampirkan ke resource. Setelah melabeli resource, Anda dapat menelusurinya berdasarkan nilai label. Misalnya, Anda dapat menggunakan label untuk mengelompokkan set data berdasarkan departemen dengan menambahkan label seperti dept:sales, dept:marketing, atau dept:analytics. Kemudian, Anda dapat mengelompokkan biaya yang ditagih berdasarkan departemen menggunakan label.

Untuk informasi selengkapnya, lihat Pengantar label.

Mendapatkan informasi resource

Anda bisa mendapatkan informasi tentang resource BigQuery dengan membuat kueri tampilan INFORMATION_SCHEMA. BigQuery menyediakan tampilan untuk setiap jenis resource. Misalnya, tampilan INFORMATION_SCHEMA.TABLES berisi informasi tentang tabel Anda.

Berikut adalah beberapa contoh informasi yang dapat Anda peroleh dengan membuat kueri tampilan INFORMATION_SCHEMA:

  • Melihat kapan tabel dibuat.
  • Mendapatkan nama dan tipe data setiap kolom dalam tabel.
  • Menemukan semua tugas yang sedang berjalan dalam sebuah project.
  • Mendapatkan daftar snapshot tabel yang dibuat dari tabel dasar.
  • Untuk set data, tabel, tampilan, atau rutinitas, dapatkan pernyataan DDL yang dapat digunakan untuk membuat resource.
  • Dapatkan opsi yang digunakan untuk membuat tabel (misalnya, masa berlaku tabel).
  • Temukan kolom partisi dan pengelompokan pada tabel.
  • Mendapatkan reservasi yang ditetapkan untuk project dan kapasitas slotnya.

Untuk informasi selengkapnya, lihat Pengantar BigQuery INFORMATION_SCHEMA.

Salin data

Anda mungkin ingin membuat salinan data karena berbagai alasan, seperti perlindungan dari error manusia, atau untuk mempertahankan data untuk perbandingan di masa mendatang. BigQuery menyediakan beberapa opsi untuk menyalin data tabel dari titik waktu tertentu.

  • Perjalanan Waktu. Anda mungkin perlu mengakses status tabel karena hal itu terjadi dalam seminggu terakhir; misalnya, jika data menjadi rusak karena kesalahan manusia. BigQuery menyimpan data historis untuk tabel Anda selama tujuh hari. Anda dapat mengakses data historis terbaru dari tabel menggunakan fitur perjalanan waktu.

    Untuk informasi selengkapnya, lihat Mengakses data historis menggunakan perjalanan waktu.

  • Snapshot tabel. Jika Anda ingin dapat mengakses status tabel lebih awal dari satu minggu sebelumnya, pertimbangkan untuk membuat snapshot tabel secara berkala. Snapshot tabel adalah salinan ringan dan hanya baca yang memungkinkan Anda mempertahankan status tabel tanpa batas. Misalnya, dengan snapshot tabel, Anda dapat membandingkan data tabel saat ini dengan data dari awal tahun, yang tidak mungkin dilakukan dengan menggunakan perjalanan waktu. Anda hanya dikenai biaya untuk penyimpanan data yang berbeda antara tabel dasar dan snapshot tabelnya.

    Untuk informasi selengkapnya, lihat Pengantar snapshot tabel.

  • Clone tabel. Jika ingin membuat salinan tabel yang ringan dan dapat ditulisi, Anda dapat menggunakan clone tabel. Anda hanya membayar penyimpanan data yang berbeda antara tabel dasar dan clone tabelnya. Misalnya, Anda dapat membuat clone tabel di lingkungan pengujian agar dapat bereksperimen dengan salinan data produksi tanpa memengaruhi data produksi dan tanpa harus membayar penyimpanan salinan lengkap tabel.

    Untuk informasi selengkapnya, lihat Pengantar clone tabel.

Melacak silsilah data

Silsilah data adalah fitur Dataplex yang memungkinkan Anda melacak bagaimana data bergerak melalui sistem: dari mana data berasal, tempat data diteruskan, dan transformasi yang diterapkan pada data. Untuk informasi selengkapnya tentang bagaimana silsilah data dapat membantu Anda melacak perpindahan data dalam project, lihat Tentang silsilah data di Dataplex.

Mengamankan resource

Keamanan BigQuery didasarkan pada Google Cloud Identity and Access Management. BigQuery memungkinkan Anda mengontrol akses ke resource Anda di berbagai tingkat, termasuk akses ke organisasi, folder, project, set data, tabel, kolom tabel, dan baris tabel.

Untuk informasi tentang cara mengontrol akses ke resource BigQuery, lihat Ringkasan tata kelola dan keamanan data.

Mengelola workload

BigQuery melakukan banyak tugas atas nama pengguna Anda, termasuk menyerap, membuat kueri, dan mengekspor data. Setiap tugas dilakukan oleh tugas BigQuery. Bagian ini menjelaskan cara memantau dan mengelola tugas organisasi.

Mengelola tugas

Tugas adalah tindakan yang dijalankan BigQuery atas nama pengguna untuk memuat, mengekspor, membuat kueri, atau menyalin data. Saat pengguna memulai salah satu tugas ini menggunakan Konsol Google Cloud, alat command line bq, pernyataan SQL, atau panggilan API, BigQuery secara otomatis membuat tugas untuk mengeksekusi tugas.

Sebagai administrator BigQuery, Anda dapat memantau, mengelola, dan memecahkan masalah tugas organisasi untuk memastikan tugas-tugas tersebut berjalan lancar.

Untuk informasi selengkapnya, lihat Ringkasan tugas.

Mengelola pemesanan

Saat menjalankan kueri, BigQuery menggunakan unit komputasi yang disebut slot. BigQuery menghitung jumlah slot yang diperlukan untuk menjalankan setiap kueri, bergantung pada ukuran dan kompleksitas kueri.

BigQuery memiliki dua model harga untuk mengisi daya slot yang menjalankan kueri Anda:

  • Penagihan on demand. Kueri Anda menggunakan kumpulan slot bersama, dan Anda dikenai biaya untuk jumlah byte yang diproses kueri.
  • Penagihan berbasis kapasitas. Anda menetapkan komitmen pemesanan atau kapasitas ke edisi, yang masing-masing dilengkapi dengan set fitur dan titik harganya sendiri untuk memberikan lingkungan kerja terbaik bagi Anda.

Model harga ini berlaku per project, sehingga Anda dapat memiliki beberapa project yang menggunakan penagihan sesuai permintaan dan beberapa project yang menggunakan penagihan berbasis kapasitas.

Dengan penagihan sesuai permintaan, setelah alokasi bulanan penggunaan gratis dipakai, Anda akan dikenai biaya untuk jumlah byte yang diproses oleh setiap kueri. Throughput dibatasi pada kuota slot yang telah ditetapkan, yang dibagikan di antara kueri yang berjalan dalam suatu project.

Dengan penagihan edisi BigQuery, Anda mengalokasikan slot untuk organisasi melalui reservasi penskalaan otomatis dan komitmen kapasitas opsional, tetapi lebih murah. Slot untuk setiap edisi memiliki titik harganya sendiri dan menawarkan serangkaian fiturnya sendiri. Untuk mengetahui informasi lebih lanjut tentang edisi BigQuery dan fitur yang terkait dengannya, lihat Pengantar edisi BigQuery.

Lihat dokumen berikut untuk mengetahui informasi selengkapnya tentang cara mengelola kapasitas komputasi untuk memproses kueri Anda:

Memantau resource

Google Cloud memberikan kemampuan untuk memantau dan mengaudit resource Anda, termasuk resource BigQuery. Bagian ini menjelaskan kemampuan pemantauan dan audit Google Cloud yang berlaku untuk BigQuery.

Untuk informasi selengkapnya, lihat Pengantar pemantauan BigQuery.

Dasbor Cloud Monitoring

Cloud Monitoring menyediakan dasbor untuk memantau BigQuery. Gunakan dasbor ini untuk melihat informasi tentang insiden, set data, tabel, project, waktu kueri, dan penggunaan slot BigQuery.

Untuk mengetahui informasi lebih lanjut, baca bagian Melihat dasbor Monitoring.

Diagram dan notifikasi administrasi

Anda dapat menggunakan Cloud Monitoring untuk membuat diagram kustom berdasarkan resource, metrik, dan agregasi apa pun yang Anda tentukan.

Untuk informasi lebih lanjut, lihat Dasbor dan diagram.

Anda juga dapat membuat kebijakan pemberitahuan yang akan memberi tahu Anda jika pemberitahuan yang dikonfigurasi dipicu. Misalnya, Anda dapat membuat pemberitahuan yang mengirimkan email ke alamat email tertentu jika waktu eksekusi kueri melebihi batas yang ditentukan.

Untuk mengetahui informasi selengkapnya, lihat Membuat pemberitahuan.

Memantau pemesanan

Anda dapat memantau penggunaan slot di halaman Capacity management di Konsol Google Cloud. Anda dapat melihat komitmen kapasitas dan melihat tempat reservasi slot Anda telah ditetapkan. Anda juga dapat menggunakan Slot estimator (Pratinjau) untuk membantu Anda memperkirakan persyaratan kapasitas organisasi berdasarkan metrik histori performa.

Untuk informasi selengkapnya, lihat Memantau reservasi BigQuery.

Kuota

Google Cloud menetapkan batas penggunaan resource, termasuk resource BigQuery, untuk memastikan penggunaan resource yang adil dan melindungi Anda dari biaya yang tidak terkendali. Anda dapat melihat penggunaan resource BigQuery yang memiliki quotas, dan meminta kuota yang lebih tinggi, jika diperlukan, dengan menggunakan konsol Google Cloud singkat ini.

Untuk informasi lebih lanjut, lihat Kuota dan batas BigQuery.

Log audit

Cloud Audit Logs menyimpan catatan peristiwa Google Cloud, termasuk peristiwa BigQuery. Anda dapat menggunakan Logs Explorer untuk membuat kueri log tentang peristiwa yang terkait dengan tugas BigQuery, set data, transfer, dan lainnya. Dasbor Logs menampilkan informasi tentang error terbaru, dan Anda dapat menggunakan Metrik berbasis log untuk menghitung entri log yang cocok dengan filter tertentu.

Untuk informasi selengkapnya, lihat dokumentasi logging Google Cloud.

Mengoptimalkan workload

Anda dapat mengoptimalkan konfigurasi BigQuery untuk mengontrol biaya penyimpanan dan pemrosesan kueri.

Panduan keandalan

Dokumen ini memberikan pemahaman tentang keandalan BigQuery, termasuk insight tentang ketersediaan, ketahanan, konsistensi data, konsistensi performa, dan pemulihan data di BigQuery, serta tinjauan pertimbangan penanganan error. Untuk mempelajari keandalan dan perencanaan bencana lebih lanjut, lihat Memahami keandalan.

Memecahkan masalah

Selain fitur yang dijelaskan dalam dokumen ini untuk memantau dan mengelola sistem BigQuery organisasi Anda, referensi berikut tersedia untuk memecahkan masalah yang mungkin muncul:

Jika Anda memerlukan bantuan tambahan, lihat Mendapatkan dukungan.

Langkah selanjutnya