Mengekspor hasil kueri ke Blob Storage
Dokumen ini menjelaskan cara mengekspor hasil kueri yang dijalankan terhadap tabel BigLake ke Azure Blob Storage Anda.
Untuk mengetahui informasi tentang aliran data antara BigQuery dan Azure Blob Storage, baca Aliran data saat mengekspor data.
Sebelum memulai
Pastikan Anda memiliki resource berikut:
- Koneksi untuk mengakses Blob Storage Anda.
Dalam suatu koneksi, Anda harus membuat kebijakan untuk jalur container Blob Storage yang menjadi tujuan ekspor. Kemudian, dalam kebijakan tersebut,
buat peran yang memiliki
izin
Microsoft.Storage/storageAccounts/blobServices/containers/write
. - Tabel BigLake Blob Storage.
- Jika Anda menggunakan model harga berbasis kapasitas, pastikan BigQuery Reservation API telah diaktifkan untuk project Anda singkat ini. Untuk mengetahui informasi tentang harga, lihat harga BigQuery Omni.
Mengekspor hasil kueri
BigQuery Omni menulis ke lokasi Blob Storage yang ditentukan, terlepas dari konten apa pun yang ada. Kueri ekspor dapat menimpa data yang ada atau mencampur hasil kueri dengan data yang sudah ada. Sebaiknya Anda mengekspor hasil kueri ke container Blob Storage yang kosong.
Di konsol Google Cloud, buka halaman BigQuery.
Di kolom Query editor, masukkan kueri ekspor GoogleSQL:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Ganti kode berikut:
CONNECTION_REGION
: region tempat koneksi dibuat.CONNECTION_NAME
: nama koneksi yang Anda buat dengan izin yang diperlukan untuk menulis ke container.AZURE_STORAGE_ACCOUNT_NAME
: nama akun Blob Storage tempat Anda ingin menulis hasil kueri.CONTAINER_NAME
: nama container tempat Anda ingin menulis hasil kueri.FILE_PATH
: jalur tempat Anda ingin menulis file yang diekspor. String ini harus berisi tepat satu*
karakter pengganti di mana saja di direktori tanpa turunan dari string jalur, misalnya,../aa/*
,../aa/b*c
,../aa/*bc
, dan../aa/bc*
. BigQuery mengganti*
dengan0000..N
, bergantung pada jumlah file yang diekspor. BigQuery menentukan jumlah dan ukuran file. Jika BigQuery memutuskan untuk mengekspor dua file,*
pada nama file dari file pertama akan diganti dengan000000000000
, dan*
dalam nama file kedua akan diganti dengan000000000001
.FORMAT
: format yang didukung adalahJSON
,AVRO
,CSV
, danPARQUET
.QUERY
: kueri untuk menganalisis data yang disimpan dalam tabel BigLake.
Pemecahan masalah
Jika Anda mendapatkan error yang terkait dengan quota failure
, periksa apakah Anda telah memesan
kapasitas untuk kueri Anda. Untuk mengetahui informasi selengkapnya tentang pemesanan slot, lihat
Sebelum memulai dalam dokumen ini.
Batasan
Untuk mengetahui daftar lengkap batasan yang berlaku untuk tabel BigLake berdasarkan Amazon S3 dan Blob Storage, lihat Batasan.
Langkah selanjutnya
- Pelajari BigQuery Omni.
- Pelajari cara mengekspor data tabel.
- Pelajari cara melakukan kueri data yang tersimpan di Blob Storage.
- Pelajari cara menyiapkan Kontrol Layanan VPC untuk BigQuery Omni.