Pengantar kueri berkelanjutan

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendaftar ke pratinjau kueri berkelanjutan, isi formulir permintaan. Untuk memberikan masukan atau meminta dukungan terkait fitur ini, hubungi [e-mail].

Dokumen ini menjelaskan kueri berkelanjutan BigQuery.

Kueri berkelanjutan BigQuery adalah pernyataan SQL yang berjalan secara berkelanjutan. Kueri berkelanjutan memungkinkan Anda menganalisis data yang masuk di BigQuery secara real time. Anda dapat menyisipkan baris output yang dihasilkan oleh kueri berkelanjutan ke dalam tabel BigQuery atau mengekspornya ke Pub/Sub atau Bigtable. Kueri berkelanjutan dapat memproses data yang telah ditulis ke tabel BigQuery standar menggunakan salah satu metode berikut:

• BigQuery Storage Write API
• Metode tabledata.insertAll
• Pemuatan batch
• Pernyataan DML INSERT

Anda dapat menggunakan kueri berkelanjutan untuk melakukan tugas yang sensitif terhadap waktu, seperti membuat dan segera menindaklanjuti insight, menerapkan inferensi machine learning (ML) real-time, dan mereplikasi data ke platform lain. Hal ini memungkinkan Anda menggunakan BigQuery sebagai mesin pemrosesan data berbasis peristiwa untuk logika keputusan aplikasi Anda.

Diagram berikut menunjukkan alur kerja kueri berkelanjutan yang umum:

Kasus penggunaan

Kasus penggunaan umum saat Anda mungkin ingin menggunakan kueri berkelanjutan adalah sebagai berikut:

• Layanan interaksi pelanggan yang dipersonalisasi: gunakan AI generatif untuk membuat pesan yang disesuaikan untuk setiap interaksi pelanggan.
• Deteksi anomali: buat solusi yang memungkinkan Anda melakukan deteksi anomali dan ancaman pada data kompleks secara real time, sehingga Anda dapat bereaksi terhadap masalah dengan lebih cepat.
• Pipeline berbasis peristiwa yang dapat disesuaikan: gunakan integrasi kueri berkelanjutan dengan Pub/Sub untuk memicu aplikasi downstream berdasarkan data yang masuk.
• Penambahan nilai data dan ekstraksi entitas: gunakan kueri berkelanjutan untuk melakukan penambahan nilai dan transformasi data secara real time menggunakan fungsi SQL dan model ML.
• Reverse extract-transform-load (ETL): melakukan ETL terbalik secara real time ke sistem penyimpanan lain yang lebih sesuai untuk penayangan aplikasi dengan latensi rendah. Misalnya, menganalisis atau meningkatkan data peristiwa yang ditulis ke BigQuery, lalu melakukan streaming ke Bigtable untuk penayangan aplikasi.

Operasi yang didukung

Operasi berikut didukung dalam kueri berkelanjutan:

• Menjalankan pernyataan INSERT untuk menulis data dari kueri berkelanjutan ke tabel BigQuery.

• Menjalankan pernyataan EXPORT DATA untuk memublikasikan output kueri berkelanjutan ke topik Pub/Sub. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Pub/Sub.

  Dari topik Pub/Sub, Anda dapat menggunakan data dengan layanan lain, seperti melakukan analisis streaming menggunakan Dataflow, atau menggunakan data dalam alur kerja integrasi aplikasi.

• Menjalankan pernyataan EXPORT DATA untuk mengekspor data dari BigQuery ke tabel Bigtable. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Bigtable.

• Memanggil fungsi AI generatif berikut:

  • ML.GENERATE_TEXT
  • ML.GENERATE_EMBEDDING

  Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML di atas model Vertex AI.

• Memanggil fungsi AI berikut:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML melalui Cloud AI API.

• Menormalisasi data numerik menggunakan fungsi ML.NORMALIZER.

• Menggunakan fungsi GoogleSQL stateless—misalnya, fungsi konversi. Dalam fungsi stateless, setiap baris diproses secara terpisah dari baris lain di tabel.

• Menggunakan fungsi histori perubahan APPENDS untuk memulai pemrosesan kueri berkelanjutan dari titik waktu tertentu.

Otorisasi

Untuk menjalankan kueri berkelanjutan yang berjalan lama, gunakan akun layanan, bukan akun pengguna.

Token akses Google Cloud yang digunakan saat menjalankan tugas kueri berkelanjutan memiliki waktu aktif (TTL) dua hari saat dibuat oleh akun pengguna. Oleh karena itu, tugas tersebut berhenti berjalan setelah dua hari. Token akses yang dihasilkan oleh akun layanan tidak dibatasi oleh TTL, sehingga tugas kueri berkelanjutan yang dijalankan oleh akun layanan akan berjalan hingga dibatalkan secara eksplisit. Untuk mengetahui informasi selengkapnya, lihat Menjalankan kueri berkelanjutan menggunakan akun layanan.

Lokasi

Kueri berkelanjutan didukung di lokasi berikut:

• US
• EU
• asia-northeast1
• asia-south1
• europe-west1
• europe-west2
• europe-west4
• us-central1
• us-east1
• us-east4
• us-west1

Batasan

Kueri berkelanjutan tunduk pada batasan berikut:

• Kueri berkelanjutan BigQuery tidak mempertahankan status data yang ditransfer. Operasi umum yang mengandalkan status, seperti JOINs, fungsi agregasi, dan fungsi analisis berbingkai, saat ini tidak didukung.

• Anda tidak dapat menggunakan kemampuan SQL berikut dalam kueri berkelanjutan:

  • Fungsi skalar non-deterministik—misalnya, fungsi CURRENT_DATE
  • Operasi JOIN
  • Fungsi agregat
  • Perkiraan fungsi agregat

  • Klausa kueri berikut:

    • GROUP BY
    • HAVING
    • ORDER BY
    • LIMIT

  • Operator kueri berikut:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Operator set kueri

  • Pernyataan SELECT DISTINCT

  • Subkueri EXISTS atau NOT EXISTS

  • CTE Rekursif

  • Fungsi yang ditentukan pengguna

  • Fungsi jendela

  • Fungsi BigQuery ML selain yang tercantum dalam Operasi yang didukung

  • Pernyataan bahasa definisi data (DDL)

  • Pernyataan bahasa manipulasi data (DML) kecuali INSERT.

  • Pernyataan bahasa kontrol data (DCL)

  • Pernyataan EXPORT DATA yang tidak menargetkan Bigtable atau Pub/Sub

  • Bahasa prosedur

  • Pernyataan proses debug

• Kueri berkelanjutan tidak mendukung tabel karakter pengganti sebagai sumber data.

• Kueri berkelanjutan tidak mendukung tabel eksternal sebagai sumber data.

• Kueri berkelanjutan tidak mendukung fitur keamanan BigQuery berikut:

  • Keamanan kolom dan tingkat baris
  • Tampilan yang diotorisasi atau rutinitas yang diotorisasi
  • Kunci enkripsi yang dikelola pelanggan (Customer-Managed Encryption Key/CMEK)
  • Fungsi enkripsi AEAD

• Saat mengekspor data ke Bigtable, Anda hanya dapat menargetkan instance Bigtable yang berada dalam batas regional Google Cloud yang sama dengan set data BigQuery yang berisi tabel yang Anda buat kuerinya. Untuk informasi selengkapnya, lihat Pertimbangan lokasi. Pembatasan ini tidak berlaku untuk mengekspor data ke Pub/Sub karena Pub/Sub adalah resource global.

• Anda tidak dapat menjalankan kueri berkelanjutan dari kanvas data.

• Anda tidak dapat mengubah SQL yang digunakan dalam kueri berkelanjutan saat tugas kueri berkelanjutan sedang berjalan. Untuk informasi selengkapnya, lihat Mengubah SQL kueri berkelanjutan.

• Jika tugas kueri berkelanjutan tertinggal lebih dari tujuh hari, Anda harus membatalkan dan memulai tugas kueri berkelanjutan baru. Anda dapat menjalankan kueri lagi dan menggunakan fungsi histori perubahan APPENDS untuk melanjutkan pemrosesan dari titik waktu saat Anda menghentikan tugas kueri berkelanjutan sebelumnya. Untuk mengetahui informasi selengkapnya, lihat Memulai kueri berkelanjutan dari titik waktu tertentu.

Batasan reservasi

• Anda harus membuat reservasi edisi Enterprise atau edisi Enterprise Plus untuk menjalankan kueri berkelanjutan. Kueri berkelanjutan tidak mendukung model penagihan komputasi sesuai permintaan.
• Saat Anda membuat penetapan reservasi untuk kueri berkelanjutan, reservasi terkait dibatasi hingga 500 slot atau kurang, dan tidak dapat dikonfigurasi untuk menggunakan penskalaan otomatis.
• Penetapan reservasi kueri berkelanjutan tidak membagikan slot tidak ada aktivitas, meskipun pemesanan dikonfigurasi untuk melakukannya.
• Anda tidak dapat membuat penetapan pemesanan yang menggunakan jenis tugas yang berbeda dalam pemesanan yang sama dengan penetapan pemesanan kueri berkelanjutan.
• Anda tidak dapat mengonfigurasi konkurensi kueri berkelanjutan. BigQuery secara otomatis menentukan jumlah kueri berkelanjutan yang dapat berjalan secara serentak, berdasarkan penetapan reservasi yang tersedia yang menggunakan jenis tugas CONTINUOUS.
• Saat menjalankan beberapa kueri berkelanjutan menggunakan reservasi yang sama, setiap tugas mungkin tidak membagi resource yang tersedia secara adil, seperti yang ditentukan oleh keadilan BigQuery.

Harga

Kueri berkelanjutan menggunakan harga komputasi kapasitas BigQuery, yang diukur dalam slot. Untuk menjalankan kueri berkelanjutan, Anda harus memiliki reservasi yang menggunakan edisi Enterprise atau Enterprise Plus, dan penetapan reservasi yang menggunakan jenis tugas CONTINUOUS.

Penggunaan resource BigQuery lainnya, seperti penyerapan dan penyimpanan data, dikenai tarif yang ditampilkan di Harga BigQuery.

Penggunaan layanan lain yang menerima hasil kueri berkelanjutan atau yang dipanggil selama pemrosesan kueri berkelanjutan akan dikenai tarif yang dipublikasikan untuk layanan tersebut. Untuk mengetahui harga layanan Google Cloud lainnya yang digunakan oleh kueri berkelanjutan, lihat topik berikut:

• Harga Bigtable
• Harga Pub/Sub
• Harga Vertex AI

Langkah selanjutnya

Coba membuat kueri berkelanjutan.