Pengantar kueri berkelanjutan

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendaftar ke pratinjau kueri berkelanjutan, lengkapi formulir permintaan. Untuk memberikan masukan atau meminta dukungan terkait fitur ini, hubungi [e-mail].

Dokumen ini menjelaskan kueri berkelanjutan BigQuery.

Kueri berkelanjutan BigQuery adalah pernyataan SQL yang dijalankan secara terus-menerus. Kueri berkelanjutan memungkinkan Anda menganalisis data yang masuk dengan menggunakan BigQuery secara real time. Anda dapat menyisipkan baris output yang dihasilkan dengan kueri berkelanjutan ke tabel BigQuery atau mengekspornya ke Pub/Sub atau Bigtable. Kueri berkelanjutan dapat memproses data yang telah ditulis ke tabel BigQuery standar dengan menggunakan salah satu metode berikut:

• BigQuery Storage Write API
• Metode tabledata.insertAll
• Pemuatan batch
• Pernyataan DML INSERT

Anda dapat menggunakan kueri berkelanjutan untuk melakukan tugas yang sensitif terhadap waktu, seperti membuat dan segera menindaklanjuti insight, menerapkan mesin real time learning (ML), dan mereplikasi data ke platform lain. Ini memungkinkan Anda menggunakan BigQuery sebagai pemrosesan data berbasis peristiwa untuk logika keputusan aplikasi Anda.

Diagram berikut menunjukkan alur kerja kueri berkelanjutan yang umum:

Kasus penggunaan

Kasus penggunaan umum saat Anda mungkin ingin menggunakan kueri berkelanjutan adalah sebagai berikut:

• Layanan interaksi pelanggan yang dipersonalisasi: gunakan AI generatif untuk membuat pesan yang disesuaikan untuk setiap interaksi pelanggan.
• Deteksi anomali: membangun solusi yang memungkinkan Anda melakukan anomali dan ancaman pada data yang kompleks secara real time, sehingga Anda dapat bereaksi terhadap masalah dengan cepat.
• Pipeline berbasis peristiwa yang dapat disesuaikan: gunakan integrasi kueri berkelanjutan dengan Pub/Sub untuk memicu aplikasi downstream berdasarkan koneksi masuk layanan otomatis dan data skalabel.
• Pengayaan data dan ekstraksi entitas: gunakan kueri berkelanjutan untuk melakukan pengayaan dan transformasi data secara {i>real time<i} dengan menggunakan fungsi SQL dan model ML lainnya.
• Reverse extract-transform-load (ETL): melakukan ETL terbalik real-time ke dalam sistem penyimpanan yang lebih cocok untuk layanan aplikasi berlatensi rendah. Misalnya, menganalisis atau meningkatkan data peristiwa yang ditulis ke BigQuery, lalu streaming ke Bigtable untuk aplikasi menyeluruh.

Operasi yang didukung

Operasi berikut didukung dalam kueri berkelanjutan:

• Menjalankan Pernyataan INSERT menulis data dari kueri berkelanjutan ke tabel BigQuery.

• Menjalankan Pernyataan EXPORT DATA untuk memublikasikan output kueri berkelanjutan ke topik Pub/Sub. Sebagai informasi selengkapnya, lihat Ekspor data ke Pub/Sub.

  Dari topik Pub/Sub, Anda dapat menggunakan data dengan layanan IT, seperti analisis streaming dengan menggunakan Dataflow, atau menggunakan data dalam alur kerja integrasi aplikasi.

• Menjalankan pernyataan EXPORT DATA untuk mengekspor data dari BigQuery ke Bigtable table. Untuk informasi selengkapnya, lihat Mengekspor data ke Bigtable.

• Memanggil fungsi AI generatif berikut:

  • ML.GENERATE_TEXT
  • ML.GENERATE_EMBEDDING

  Fungsi-fungsi ini mengharuskan Anda memiliki Model jarak jauh BigQuery ML lebih dari Model Vertex AI.

• Memanggil fungsi AI berikut:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Fungsi-fungsi ini mengharuskan Anda memiliki Model jarak jauh BigQuery ML melalui Cloud AI API.

• Menormalkan data numerik menggunakan metode Fungsi ML.NORMALIZER.

• Menggunakan fungsi GoogleSQL stateless—misalnya, fungsi konversi. Pada fungsi stateless, tiap baris diproses secara terpisah dari baris lain baris dalam tabel.

• Menggunakan APPENDS fungsi histori perubahan untuk memulai pemrosesan kueri berkelanjutan dari waktu tertentu.

Otorisasi

Untuk menjalankan kueri berkelanjutan yang berjalan lama, gunakan metode akun layanan, bukan pengguna menggunakan akun layanan.

Token akses Google Cloud yang digunakan saat menjalankan tugas kueri berkelanjutan yang memiliki time to live (TTL) selama dua hari saat dibuat oleh akun pengguna. Oleh karena itu, tugas tersebut akan menghentikan yang berjalan setelah dua hari. Token akses yang dihasilkan oleh layanan akun tidak dibatasi oleh TTL, jadi tugas kueri berkelanjutan yang dijalankan oleh akun layanan berjalan hingga dibatalkan secara eksplisit. Untuk informasi selengkapnya, lihat Jalankan kueri berkelanjutan menggunakan akun layanan.

Lokasi

Kueri berkelanjutan didukung di lokasi berikut:

• US
• EU
• asia-northeast1
• asia-south1
• europe-west1
• europe-west2
• europe-west4
• us-central1
• us-east1
• us-east4
• us-west1

Batasan

Kueri berkelanjutan diberi batasan berikut:

• Kueri berkelanjutan BigQuery tidak mempertahankan status data yang diserap. Operasi umum yang mengandalkan status, seperti JOINs, fungsi agregasi, dan fungsi analisis berjendela, saat ini tidak didukung.

• Anda tidak dapat menggunakan kemampuan SQL berikut dalam kueri berkelanjutan:

  • Fungsi skalar non-deterministik—misalnya, Fungsi CURRENT_DATE
  • Operasi JOIN
  • Fungsi agregat
  • Perkiraan fungsi agregat

  • Hal berikut query:

    • GROUP BY
    • HAVING
    • ORDER BY
    • LIMIT

  • Hal berikut operator query:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Operator set kueri

  • Pernyataan SELECT DISTINCT

  • EXISTS atau NOT EXISTS subkueri

  • CTE Rekursif

  • Fungsi yang ditentukan pengguna

  • Fungsi windowing

  • Fungsi ML BigQuery selain yang tercantum dalam Operasi yang didukung

  • Pernyataan bahasa definisi data (DDL)

  • Pernyataan bahasa manipulasi data (DML) kecuali untuk INSERT.

  • Pernyataan bahasa kontrol data (DCL)

  • Pernyataan EXPORT DATA yang tidak menargetkan Bigtable atau Pub/Sub

  • Bahasa prosedural

  • Pernyataan proses debug

• Kueri berkelanjutan tidak didukung tabel karakter pengganti sebagai sumber data.

• Kueri berkelanjutan tidak didukung tabel eksternal sebagai sumber data.

• Kueri berkelanjutan tidak mendukung BigQuery berikut fitur keamanan:

  • Kolom dan keamanan level baris
  • Kunci enkripsi yang dikelola pelanggan (Customer-Managed Encryption Key/CMEK)
  • Fungsi enkripsi AEAD

• Kapan mengekspor data ke Bigtable, Anda hanya dapat menargetkan Instance Bigtable yang berada dalam Batas regional Google Cloud sebagai BigQuery {i>dataset <i}yang berisi tabel yang sedang Anda kuerikan. Untuk informasi selengkapnya, lihat Pertimbangan lokasi. Batasan ini tidak berlaku untuk ekspor data ke Pub/Sub karena Pub/Sub adalah resource global.

• Anda tidak dapat menjalankan kueri berkelanjutan dari kanvas data.

• Anda tidak dapat memodifikasi SQL yang digunakan dalam kueri berkelanjutan saat tugas kueri sedang berjalan. Untuk informasi selengkapnya, lihat Mengubah SQL kueri berkelanjutan.

• Jika tugas kueri berkelanjutan tertinggal lebih dari tujuh hari, Anda harus membatalkan dan memulai tugas kueri berkelanjutan yang baru. Anda dapat menjalankan kueri lagi serta gunakan APPENDS fungsi riwayat perubahan untuk melanjutkan proses dari titik waktu saat Anda menghentikan tugas kueri berkelanjutan sebelumnya. Untuk informasi selengkapnya, lihat Memulai kueri berkelanjutan dari titik waktu tertentu.

Batasan reservasi

• Anda harus membuat edisi Enterprise atau Enterprise Plus edisi reservasi agar dapat berjalan kueri berkelanjutan. Kueri berkelanjutan tidak mendukung komputasi on-demand model penagihan.
• Saat Anda membuat penetapan reservasi untuk kueri berkelanjutan, reservasi terkait dibatasi hingga 500 slot atau kurang, serta tidak dapat dikonfigurasi untuk menggunakan penskalaan otomatis.
• Penetapan reservasi kueri berkelanjutan tidak dibagikan slot tidak ada aktivitas, meskipun reservasi dikonfigurasi untuk melakukannya.
• Anda tidak dapat membuat penetapan reservasi yang menggunakan jenis pekerjaan di reservasi yang sama dengan penetapan reservasi kueri berkelanjutan.
• Anda tidak dapat mengonfigurasi kueri berkelanjutan secara serentak. BigQuery secara otomatis menentukan jumlah kueri berkelanjutan yang dapat dijalankan secara serentak, berdasarkan penetapan reservasi yang tersedia yang menggunakan Jenis pekerjaan CONTINUOUS.
• Saat menjalankan beberapa kueri berkelanjutan menggunakan reservasi yang sama, pekerjaan individu mungkin tidak membagi sumber daya yang tersedia secara adil, didefinisikan oleh Keadilan BigQuery.

Harga

Kueri berkelanjutan menggunakan Harga komputasi kapasitas BigQuery, yang diukur dalam slot. Untuk menjalankan kueri berkelanjutan, Anda harus memiliki reservasi yang menggunakan Edisi Enterprise atau Enterprise Plus, dan tugas reservasi yang menggunakan jenis tugas CONTINUOUS.

Penggunaan resource BigQuery lainnya, seperti penyerapan data dan penyimpanan, dikenakan tarif yang tercantum dalam Harga BigQuery.

Penggunaan layanan lain yang menerima hasil kueri berkelanjutan atau yang disebut selama pemrosesan kueri berkelanjutan dikenakan biaya sesuai dengan tarif yang layanan IT perusahaan mereka. Untuk harga layanan Google Cloud lain yang digunakan oleh jaringan lihat topik berikut:

• Harga Bigtable
• Harga Pub/Sub
• Harga Vertex AI

Langkah selanjutnya

Coba buat kueri berkelanjutan.