Halaman ini diterjemahkan oleh Cloud Translation API.

Membuat tabel eksternal BigLake untuk Delta Lake

BigLake memungkinkan Anda mengakses tabel Delta Lake dengan kontrol akses yang lebih terperinci. Delta Lake adalah format penyimpanan data tabulasi open source yang dikembangkan oleh Databricks yang mendukung tabel data berskala petabyte.

BigQuery mendukung fitur berikut dengan tabel Delta Lake:

Delegasi akses: Membuat kueri data terstruktur di penyimpanan data eksternal dengan delegasi akses. Delegasi akses memisahkan akses ke tabel Delta Lake dari akses ke datastore pokok.
Kontrol akses terperinci: Terapkan keamanan terperinci di tingkat tabel, termasuk keamanan tingkat baris dan tingkat kolom. Untuk tabel Delta Lake berdasarkan Cloud Storage, Anda juga dapat menggunakan penyamaran data dinamis.
Evolusi skema: Perubahan skema di tabel Delta Lake terdeteksi secara otomatis. Perubahan pada skema akan ditampilkan di tabel BigQuery.

Tabel Delta Lake juga mendukung semua fitur BigLake saat Anda mengonfigurasinya sebagai tabel BigLake.

Sebelum memulai

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Make sure that billing is enabled for your Google Cloud project.
Enable the BigQuery Connection and BigQuery Reservation APIs.
Enable the APIs
In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell
Pastikan Anda memiliki set data BigQuery.
Pastikan versi Google Cloud SDK Anda adalah 366.0.0 atau yang lebih baru:
```
gcloud version
```
Jika perlu, update Google Cloud SDK.
Buat koneksi resource Cloud berdasarkan sumber data eksternal Anda, dan berikan koneksi tersebut akses ke Cloud Storage. Jika Anda tidak memiliki izin yang sesuai untuk membuat koneksi, minta administrator BigQuery untuk membuat koneksi dan membagikannya kepada Anda.

Peran yang diperlukan

Izin berikut diperlukan untuk membuat tabel Delta Lake:

bigquery.tables.create
bigquery.connections.delegate

Peran Identity and Access Management bawaan Admin (roles/bigquery.admin) BigQuery mencakup izin ini.

Jika Anda bukan akun utama dalam peran ini, minta administrator untuk memberi Anda izin ini atau membuatkan tabel Delta Lake.

Selain itu, agar pengguna BigQuery dapat membuat kueri tabel, akun layanan yang terkait dengan koneksi harus memiliki izin dan akses berikut:

Peran BigQuery Viewer (roles/bigquery.viewer)
Peran BigQuery Connection User (roles/bigquery.connectionUser)
Akses ke bucket Cloud Storage yang berisi data tersebut

Untuk mengetahui informasi selengkapnya tentang peran dan izin Identity and Access Management di BigQuery, lihat Peran dan izin bawaan.

Membuat tabel dengan Delta Lake

Untuk membuat tabel Delta Lake, ikuti langkah-langkah berikut.

SQL

Gunakan pernyataan CREATE EXTERNAL TABLE untuk membuat tabel Delta Lake:

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

Ganti nilai berikut:

PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
DATASET: set data BigQuery untuk menampung tabel Delta Lake
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya, us
CONNECTION_ID: ID koneksi—misalnya, myconnection

Saat Anda melihat detail koneksi di konsol Google Cloud, ID koneksi adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya, projects/myproject/locations/connection_location/connections/myconnection.
DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake

bq

Di lingkungan command line, gunakan perintah bq mk untuk membuat tabel Delta Lake:

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

Ganti nilai berikut:

DEFINITION_FILE: jalur ke file definisi tabel
PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
DATASET: set data BigQuery untuk menampung tabel Delta Lake
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda

REST

Gunakan BigQuery API untuk membuat tabel Delta Lake dengan memanggil metode API tables.insert:

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Ganti nilai berikut:

PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya, us
CONNECTION_ID: ID koneksi—misalnya, myconnection

Saat Anda melihat detail koneksi di konsol Google Cloud, ID koneksi adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya, projects/myproject/locations/connection_location/connections/myconnection.
DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
DATASET: set data BigQuery untuk menampung tabel Delta Lake

Saat Anda membuat tabel Delta Lake, awalan Delta Lake digunakan sebagai URI untuk tabel. Misalnya, untuk tabel yang memiliki log di bucket gs://bucket/warehouse/basictable/_delta_log, URI tabelnya adalah gs://bucket/warehouse/basictable. Saat Anda menjalankan kueri pada tabel Delta Lake, BigQuery akan membaca data berdasarkan awalan untuk mengidentifikasi versi tabel saat ini, lalu menghitung metadata dan file untuk tabel.

Meskipun Anda dapat membuat tabel eksternal Delta Lake tanpa koneksi, hal ini tidak direkomendasikan karena alasan berikut:

Pengguna mungkin mengalami error ACCESS_DENIED saat mencoba mengakses file di Cloud Storage.
Fitur seperti kontrol akses terperinci hanya tersedia di tabel BigLake Delta Lake.

Memperbarui tabel Delta Lake

Untuk memperbarui (memuat ulang) skema tabel Delta Lake, ikuti langkah-langkah berikut.

bq

Di lingkungan command line, gunakan perintah bq update untuk memperbarui (memuat ulang) skema tabel Delta Lake:

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

Ganti nilai berikut:

PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
DATASET: set data BigQuery untuk menampung tabel Delta Lake
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda

REST

Gunakan BigQuery API untuk memperbarui tabel Delta Lake dengan memanggil metode API tables.patch:

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Ganti nilai berikut:

DELTA_TABLE_GCS_BASE_PATH: awalan tabel Delta Lake
PROJECT_ID: ID project tempat Anda ingin membuat tabel Delta Lake
REGION: region yang berisi koneksi untuk membuat tabel Delta Lake—misalnya, us
CONNECTION_ID: ID koneksi—misalnya, myconnection

Saat Anda melihat detail koneksi di konsol Google Cloud, ID koneksi adalah nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi—misalnya, projects/myproject/locations/connection_location/connections/myconnection.
DELTALAKE_TABLE_NAME: nama tabel Delta Lake Anda
DATASET: set data BigQuery untuk menampung tabel Delta Lake

Membuat kueri tabel Delta Lake

Setelah membuat tabel BigLake Delta Lake, Anda dapat membuat kuerinya menggunakan sintaksis GoogleSQL, sama seperti tabel BigQuery standar. Contoh:

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

Untuk informasi selengkapnya, baca artikel Membuat kueri data Cloud Storage di tabel BigLake.

Koneksi eksternal yang terkait dengan akun layanan digunakan untuk terhubung ke datastore. Karena akun layanan mengambil data dari datastore, pengguna hanya memerlukan akses ke tabel Delta Lake.

Pemetaan data

BigQuery mengonversi jenis data Delta Lake menjadi jenis data BigQuery seperti yang ditampilkan dalam tabel berikut:

Jenis Delta Lake	Jenis BigQuery
`boolean`	`BOOL`
`byte`	`INT64`
`int`	`INT64`
`long`	`INT64`
`float`	`FLOAT64`
`double`	`FLOAT64`
`Decimal(P/S)`	`NUMERIC` atau `BIG_NUMERIC` bergantung pada presisi
`date`	`DATE`
`time`	`TIME`
`timestamp (not partition column)`	`TIMESTAMP`
`timestamp (partition column)`	`DATETIME`
`string`	`STRING`
`binary`	`BYTES`
`array<Type>`	`ARRAY<Type>`
`struct`	`STRUCT`
`map<KeyType, ValueType>`	`ARRAY<Struct<key KeyType, value ValueType>>`

Batasan

Tabel Delta Lake memiliki batasan tabel BigLake dan juga batasan berikut:

Mendukung Delta Lake versi pembaca 3 dengan vektor penghapusan dan pemetaan kolom.
Tidak mendukung checkpoint Delta Lake V2.
Anda harus mencantumkan versi pembaca dalam file entri log terakhir. Misalnya, tabel baru harus menyertakan 00000..0.json.
Operasi pengambilan data perubahan (CDC) tidak didukung. Semua operasi CDC yang ada akan diabaikan.
Skema terdeteksi secara otomatis. Mengubah skema menggunakan BigQuery tidak didukung.
Nama kolom tabel harus mematuhi batasan nama kolom BigQuery.
Tampilan terwujud tidak didukung.
Read API tidak didukung untuk Delta Lake.

Pemecahan masalah

Bagian ini memberikan bantuan terkait tabel BigLake Delta Lake. Untuk mendapatkan bantuan umum lainnya terkait pemecahan masalah kueri BigQuery, lihat Memecahkan masalah kueri.

Waktu tunggu kueri dan error resource

Periksa direktori log (gs://bucket/warehouse/basictable/_delta_log) tabel Delta Lake dan cari file JSON dengan nomor versi yang lebih besar dari titik pemeriksaan sebelumnya. Anda bisa mendapatkan nomor versi dengan mencantumkan direktori atau memeriksa file _delta_log/_last_checkpoint. File JSON yang lebih besar dari 10 MiB dapat memperlambat perluasan tabel yang dapat menyebabkan masalah waktu tunggu habis dan resource. Untuk mengatasi masalah ini, gunakan perintah berikut untuk membuat titik pemeriksaan baru sehingga kueri melewati pembacaan file JSON:

  spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.checkpointInterval' = '1')");

Pengguna kemudian dapat menggunakan perintah yang sama untuk mereset interval titik periksa ke nilai default 10 atau ke nilai yang menghindari file JSON lebih dari 50 MB di antara titik periksa.

Nama kolom tidak valid

Pastikan pemetaan kolom diaktifkan untuk tabel Delta Lake. Pemetaan kolom didukung dengan Reader versi 2 atau yang lebih baru. Untuk Reader versi 1, tetapkan 'delta.columnMapping.mode' ke 'name' menggunakan perintah berikut:

spark.sql("ALTER TABLE delta.`gs://bucket/mydeltatabledir` SET TBLPROPERTIES ('delta.columnMapping.mode' = 'name', 'delta.minReaderVersion' = '3', 'delta.minWriterVersion' = '7')");

Jika nama kolom yang tidak valid mematuhi batasan nama kolom fleksibel, hubungi Layanan Pelanggan Cloud atau biglake-help@google.com.

Error akses ditolak

Untuk mendiagnosis masalah pada tabel BigLake Delta Lake, periksa hal berikut:

Pastikan Anda menggunakan tabel BigLake Delta Lake (dengan koneksi).
Pengguna memiliki izin yang diperlukan yang diuraikan.

Performa

Untuk meningkatkan performa kueri, coba langkah-langkah berikut:

Gunakan utilitas Delta Lake untuk memadatkan file data yang mendasarinya dan menghapus file yang redundan, seperti data dan metadata.
Pastikan delta.checkpoint.writeStatsAsStruct ditetapkan ke true.
Pastikan variabel yang sering digunakan dalam klausa predikat berada di kolom partisi.

Set data besar (lebih dari 100 TB) mungkin akan mendapatkan manfaat dari konfigurasi dan fitur tambahan. Jika langkah-langkah sebelumnya tidak menyelesaikan masalah Anda, pertimbangkan untuk menghubungi Customer Care atau biglake-help@google.com, terutama untuk set data yang lebih besar dari 100 TB.