Mengelola transfer
Dokumen ini menunjukkan cara mengelola konfigurasi transfer data yang ada.
Anda juga dapat memicu transfer yang ada secara manual, yang juga dikenal sebagai memulai operasi pengisian ulang.
Melihat transfer Anda
Lihat konfigurasi transfer yang ada dengan melihat informasi tentang setiap transfer, mencantumkan semua transfer yang ada, dan melihat histori operasi transfer atau pesan log.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan guna melihat detail transfer,
minta administrator untuk memberi Anda
peran IAM BigQuery User (roles/bigquery.user
) pada project tersebut.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Selain itu, untuk melihat pesan log melalui konsol Google Cloud, Anda harus memiliki izin untuk melihat data Cloud Logging. Peran Logs Viewer
(roles/logging.viewer
) memberi Anda akses hanya baca ke semua fitur
Logging. Untuk mengetahui informasi selengkapnya tentang peran dan izin Identity and
Access Management (IAM)
yang berlaku untuk data log cloud, lihat panduan kontrol akses Cloud Logging.
Untuk mengetahui informasi selengkapnya tentang peran IAM dalam BigQuery Data Transfer Service, lihat Kontrol akses.
Mendapatkan detail transfer
Setelah melakukan transfer, Anda bisa mendapatkan informasi tentang konfigurasi transfer. Konfigurasi tersebut mencakup nilai yang Anda berikan saat membuat transfer, serta informasi penting lainnya seperti nama resource.
Untuk mendapatkan informasi tentang konfigurasi transfer:
Konsol
Buka halaman Data transfers.
Pilih transfer yang ingin Anda dapatkan detailnya.
Untuk melihat konfigurasi transfer dan detail sumber data, klik Configuration di halaman Transfer details. Contoh berikut menunjukkan properti konfigurasi untuk transfer Google Ads:
bq
Masukkan perintah bq show
, lalu masukkan nama resource
konfigurasi transfer. Flag --format
dapat digunakan untuk mengontrol format output.
bq show \
--format=prettyjson \
--transfer_config resource_name
Ganti resource_name
dengan nama
resource transfer (juga disebut sebagai konfigurasi transfer). Jika Anda tidak mengetahui
nama resource transfer, temukan nama resource dengan:
bq ls --transfer_config --transfer_location=location
.
Misalnya, masukkan perintah berikut guna menampilkan konfigurasi transfer
untuk
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq show \
--format=prettyjson \
--transfer_config projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Gunakan metode projects.locations.transferConfigs.get
dan berikan konfigurasi transfer menggunakan parameter name
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Mencantumkan konfigurasi transfer
Untuk mencantumkan semua konfigurasi transfer yang ada dalam sebuah project:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Jika ada konfigurasi transfer dalam project, daftar konfigurasi transfer akan muncul di daftar transfer data.
bq
Untuk mencantumkan semua konfigurasi transfer bagi project berdasarkan lokasi, masukkan
perintah bq ls
dan berikan tanda --transfer_location
dan --transfer_config
. Anda juga dapat menyediakan flag --project_id
untuk menentukan project
tertentu. Jika --project_id
tidak ditentukan, project default akan digunakan.
Flag --format
dapat digunakan untuk mengontrol format output.
Untuk mencantumkan konfigurasi transfer bagi sumber data tertentu, berikan
flag --filter
.
Untuk melihat jumlah konfigurasi transfer tertentu dalam
format dengan penomoran halaman, berikan flag --max_results
untuk menentukan jumlah
transfer. Perintah ini menampilkan token halaman yang Anda berikan menggunakan flag --page_token
untuk melihat konfigurasi n berikutnya. Ada batas
1.000 konfigurasi yang akan ditampilkan jika --max_results
dihilangkan, dan
--max_results
tidak akan menerima nilai yang lebih besar dari 1.000. Jika project Anda memiliki lebih dari 1.000 konfigurasi, gunakan --max_results
dan --page_token
untuk melakukan iterasi pada semuanya.
bq ls \ --transfer_config \ --transfer_location=location \ --project_id=project_id \ --max_results=integer \ --filter=dataSourceIds:data_sources
Ganti kode berikut:
location
adalah lokasi konfigurasi transfer. Lokasi ditentukan saat Anda membuat transfer.project_id
adalah project ID Anda.integer
adalah jumlah hasil yang ditampilkan per halaman.data_sources
adalah satu atau beberapa dari hal berikut ini:amazon_s3
- Transfer data Amazon S3azure_blob_storage
- Transfer data Azure Blob Storagedcm_dt
- Transfer data Campaign Managergoogle_cloud_storage
- Transfer data Cloud Storagecross_region_copy
- Salinan Set Datadfp_dt
- Transfer Data Google Ad Manageradwords
- Transfer data Google Adsgoogle_ads
- Transfer data Google Ads (pratinjau)merchant_center
- Transfer data Google Merchant Centerplay
- Transfer data Google Playscheduled_query
- Transfer data kueri terjadwaldoubleclick_search
- Transfer data Search Ads 360youtube_channel
- Transfer data Channel YouTubeyoutube_content_owner
- Transfer data Pemilik Konten YouTuberedshift
- Migrasi Amazon Redshifton_premises
- Migrasi Teradata
Contoh:
Masukkan perintah berikut untuk menampilkan semua konfigurasi transfer di
US untuk project default Anda. Output-nya dikontrol menggunakan flag
--format
.
bq ls \
--format=prettyjson \
--transfer_config \
--transfer_location=us
Masukkan perintah berikut untuk menampilkan semua konfigurasi
transfer di AS untuk project ID myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject
Masukkan perintah berikut untuk mencantumkan 3 konfigurasi transfer terbaru.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3
Perintah akan menampilkan token halaman berikutnya. Salin token halaman dan berikan dalam
perintah bq ls
untuk melihat 3 hasil berikutnya.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL
Masukkan perintah berikut untuk mencantumkan konfigurasi transfer
Ads dan Campaign Manager untuk project ID myproject
.
bq ls \
--transfer_config \
--transfer_location=us \
--project_id=myproject \
--filter=dataSourceIds:dcm_dt,google_ads
API
Gunakan metode projects.locations.transferConfigs.list
dan berikan project ID menggunakan parameter parent
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Melihat histori operasi transfer
Saat transfer terjadwal Anda dijalankan, histori operasi akan disimpan untuk setiap konfigurasi transfer yang menyertakan operasi transfer yang berhasil dan operasi transfer yang gagal. Operasi transfer yang berjalan lebih dari 90 hari akan otomatis dihapus dari histori operasi.
Untuk melihat histori operasi konfigurasi transfer:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Klik transfer di daftar transfer data.
Anda akan berada di halaman RUN HISTORY untuk transfer yang dipilih.
bq
Untuk mencantumkan operasi transfer bagi konfigurasi transfer tertentu, masukkan perintah bq
ls
dan berikan flag --transfer_run
. Anda juga dapat menyediakan
flag --project_id
untuk menentukan project tertentu. Jika resource_name
tidak berisi informasi project, nilai --project_id
akan digunakan. Jika
--project_id
tidak ditentukan, project default akan digunakan. Flag --format
dapat digunakan untuk mengontrol format output.
Untuk melihat jumlah operasi transfer tertentu, berikan flag
--max_results
. Perintah ini menampilkan token halaman yang Anda berikan menggunakan flag --page_token
untuk melihat konfigurasi n berikutnya.
Untuk mencantumkan operasi transfer berdasarkan status operasi, berikan flag --filter
.
bq ls \ --transfer_run \ --max_results=integer \ --transfer_location=location \ --project_id=project_id \ --filter=states:state, ... \ resource_name
Ganti kode berikut:
integer
adalah jumlah hasil yang akan ditampilkan.location
adalah lokasi konfigurasi transfer. Lokasi ditentukan saat Anda membuat transfer.project_id
adalah project ID Anda.state, ...
adalah salah satu dari daftar berikut atau yang dipisahkan koma:SUCCEEDED
FAILED
PENDING
RUNNING
CANCELLED
resource_name
adalah nama resource transfer (juga disebut sebagai konfigurasi transfer). Jika Anda tidak mengetahui nama resource transfer, cari nama resource dengan:bq ls --transfer_config --transfer_location=location
.
Contoh:
Masukkan perintah berikut untuk menampilkan 3 operasi terbaru untuk
konfigurasi transfer
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
Output dikontrol menggunakan flag --format
.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Perintah akan menampilkan token halaman berikutnya. Salin token halaman dan berikan dalam
perintah bq ls
untuk melihat 3 hasil berikutnya.
bq ls \
--format=prettyjson \
--transfer_run \
--max_results=3 \
--page_token=AB1CdEfg_hIJKL \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Masukkan perintah berikut guna menampilkan semua operasi yang gagal untuk
konfigurasi transfer
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq ls \
--format=prettyjson \
--transfer_run \
--filter=states:FAILED \
--transfer_location=us \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Gunakan metode projects.locations.transferConfigs.runs.list
dan tentukan project ID menggunakan parameter parent
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Melihat detail operasi transfer dan pesan log
Saat operasi transfer muncul di histori operasi, Anda dapat melihat detail operasi, termasuk pesan log, peringatan dan error, nama operasi, serta waktu mulai dan berakhir.
Untuk melihat detail operasi transfer:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Klik transfer di daftar transfer data.
Anda akan berada di halaman RUN HISTORY untuk transfer yang dipilih.
Klik setiap operasi transfer, dan panel Run details akan terbuka untuk operasi transfer tersebut.
Di bagian Run details, catat semua pesan error. Informasi ini diperlukan jika Anda menghubungi Cloud Customer Care. Detail operasi juga mencakup peringatan dan pesan log.
bq
Untuk melihat detail operasi transfer, masukkan perintah bq show
dan berikan Nama Operasi untuk operasi transfer menggunakan flag --transfer_run
. Flag --format
dapat digunakan untuk mengontrol format output.
bq show \ --format=prettyjson \ --transfer_run run_name
Ganti run_name
dengan Nama Operasi dari operasi transfer.
Anda dapat mengambil Nama Operasi menggunakan perintah
bq ls
.
Contoh:
Masukkan perintah berikut guna menampilkan detail operasi transfer
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq show \
--format=prettyjson \
--transfer_run \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Untuk melihat pesan log transfer untuk operasi transfer, masukkan perintah bq ls
dengan tanda --transfer_log
. Anda dapat memfilter pesan log menurut jenisnya menggunakan flag --message_type
.
Untuk melihat jumlah pesan log tertentu, berikan flag --max_results
. Perintah ini menampilkan token halaman yang Anda berikan menggunakan flag --page_token
untuk melihat n pesan berikutnya.
bq ls \ --transfer_log \ --max_results=integer \ --message_type=messageTypes:message_type \ run_name
Ganti kode berikut:
integer
adalah jumlah pesan log yang akan ditampilkan.message_type
adalah jenis pesan log yang akan dilihat (satu nilai atau daftar yang dipisahkan koma):INFO
WARNING
ERROR
run_name
adalah Nama Operasi dari operasi transfer. Anda dapat mengambil Nama Operasi menggunakan perintahbq ls
.
Contoh:
Masukkan perintah berikut guna melihat 2 pesan log pertama untuk
operasi transfer
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--max_results=2 \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Perintah akan menampilkan token halaman berikutnya. Salin token halaman dan berikan dalam perintah bq ls
untuk melihat 2 hasil berikutnya.
bq ls \
--transfer_log \
--max_results=2 \
--page_token=AB1CdEfg_hIJKL \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
Masukkan perintah berikut guna melihat hanya pesan error untuk operasi transfer projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
.
bq ls \
--transfer_log \
--message_type=messageTypes:ERROR \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7/runs/1a2b345c-0000-1234-5a67-89de1f12345g
API
Gunakan metode projects.transferConfigs.runs.transferLogs.list
dan berikan Nama Operasi untuk operasi transfer menggunakan parameter parent
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Mengubah transfer Anda
Anda dapat mengubah transfer yang ada dengan mengedit informasi pada konfigurasi transfer, memperbarui kredensial pengguna yang dilampirkan ke konfigurasi transfer, dan menonaktifkan atau menghapus transfer.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan dalam mengubah transfer,
minta administrator untuk memberi Anda
peran IAM BigQuery Admin (roles/bigquery.admin
) pada project.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Memperbarui transfer
Setelah membuat konfigurasi transfer, Anda dapat mengedit kolom berikut:
- Destination dataset
- Nama tampilan
- Setiap parameter yang ditentukan untuk jenis transfer tertentu
- Setelan notifikasi operasi
- Akun layanan
Anda tidak dapat mengedit sumber transfer setelah transfer dibuat.
Untuk memperbarui transfer:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Klik transfer di daftar transfer data.
Klik EDIT untuk memperbarui konfigurasi transfer.
bq
Masukkan
perintah bq update
,
berikan nama resource konfigurasi transfer menggunakan
flag --transfer_config
, dan berikan flag --display_name
, --params
,
--refresh_window_days
, --schedule
, atau --target_dataset
. Anda juga dapat menyediakan flag --destination_kms_key
untuk kueri terjadwal atau transfer Cloud Storage.
bq update \ --display_name='NAME' \ --params='PARAMETERS' \ --refresh_window_days=INTEGER \ --schedule='SCHEDULE' --target_dataset=DATASET_ID \ --destination_kms_key="DESTINATION_KEY" \ --transfer_config \ --service_account_name=SERVICE_ACCOUNT \ RESOURCE_NAME
Ganti kode berikut:
NAME
: nama tampilan untuk konfigurasi transfer.PARAMETERS
: parameter untuk konfigurasi transfer dalam format JSON. Contoh:--params='{"param1":"param_value1"}'
. Parameter berikut dapat diedit:- Campaign Manager:
bucket
dannetwork_id
- Google Ad Manager:
bucket
dannetwork_code
- Google Ads:
customer_id
- Google Merchant Center:
merchant_id
- Google Play:
bucket
dantable_suffix
- Kueri Terjadwal:
destination_table_kms_key
,destination_table_name_template
,partitioning_field
,partitioning_type
,query
, danwrite_disposition
- Search Ads 360:
advertiser_id
,agency_id
,custom_floodlight_variables
,include_removed_entities
, dantable_filter
- YouTube Channel:
table_suffix
- Pemilik Konten YouTube:
content_owner_id
dantable_suffix
- Campaign Manager:
INTEGER
: nilai dari 0 hingga 30. Untuk mengetahui informasi cara menetapkan jendela refresh, lihat dokumentasi untuk jenis transfer Anda.SCHEDULE
: jadwal berulang, seperti--schedule="every 3 hours"
. Untuk deskripsi sintaksisschedule
, lihat Memformatschedule
.- DATASET_ID: set data target untuk konfigurasi transfer.
- DESTINATION_KEY: ID resource kunci Cloud KMS
—misalnya,
projects/project_name/locations/us/keyRings/key_ring_name/cryptoKeys/key_name
. CMEK hanya tersedia untuk transfer kueri terjadwal atau transfer Cloud Storage. - SERVICE_ACCOUNT: menentukan akun layanan yang akan digunakan dengan transfer ini.
- RESOURCE_NAME: nama resource transfer (juga disebut
sebagai konfigurasi transfer). Jika Anda tidak mengetahui nama
resource transfer, temukan nama resource dengan:
bq ls --transfer_config --transfer_location=location
.
Contoh:
Perintah berikut memperbarui nama tampilan, set data target,
jendela refresh, dan parameter untuk projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
transfer
Google Ads:
bq update \ --display_name='My changed transfer' \ --params='{"customer_id":"123-123-5678"}' \ --refresh_window_days=3 \ --target_dataset=mydataset2 \ --transfer_config \ projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
Perintah berikut memperbarui parameter dan jadwal untuk projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
transfer Kueri Terjadwal:
bq update \ --params='{"destination_table_name_template":"test", "write_disposition":"APPEND"}' \ --schedule="every 24 hours" \ --transfer_config \ projects/myproject/locations/us/transferConfigs/5678z567-5678-5z67-5yx9-56zy3c866vw9
API
Gunakan metode projects.transferConfigs.patch
dan berikan nama resource transfer menggunakan
parameter transferConfig.name
. Jika Anda tidak mengetahui nama
resource transfer, temukan nama resource dengan:
bq ls --transfer_config --transfer_location=location
.
Anda juga dapat memanggil metode berikut dan memberikan project ID menggunakan parameter parent
untuk mencantumkan semua transfer: projects.locations.transferConfigs.list
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Perbarui kredensial
Transfer menggunakan kredensial pengguna yang membuatnya. Jika perlu mengubah pengguna yang terkait dengan konfigurasi transfer, Anda dapat memperbarui kredensial transfer. Hal ini berguna jika pengguna yang membuat transfer tidak lagi bekerja di organisasi Anda.
Untuk memperbarui kredensial transfer:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Klik transfer di daftar transfer data.
Klik menu MORE, lalu pilih Refresh credentials.
Login ke Akun Google Anda, lalu klik Allow untuk memberikan izin ke BigQuery Data Transfer Service guna melihat data pelaporan dan mengakses serta mengelola data di BigQuery.
bq
Masukkan perintah bq update
, berikan nama resource
konfigurasi transfer menggunakan flag --transfer_config
, dan berikan
flag --update_credentials
.
bq update \ --update_credentials=boolean \ --transfer_config \ resource_name
Ganti kode berikut:
boolean
adalah nilai boolean yang menunjukkan apakah kredensial harus diperbarui untuk konfigurasi transfer.resource_name
adalah nama resource transfer (juga disebut sebagai konfigurasi transfer). Jika Anda tidak mengetahui nama resource transfer, temukan nama resource dengan:bq ls --transfer_config --transfer_location=location
.
Contoh:
Masukkan perintah berikut untuk memperbarui kredensial untuk transfer Google Ads
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq update \
--update_credentials=true \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Gunakan metode projects.transferConfigs.patch
dan berikan parameter authorizationCode
dan updateMask
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Menonaktifkan transfer
Jika Anda menonaktifkan transfer, disabled akan ditambahkan ke nama transfer. Saat transfer dinonaktifkan, tidak ada operasi transfer baru yang dijadwalkan, dan pengisian ulang baru tidak diizinkan. Setiap transfer yang sedang berjalan akan selesai.
Menonaktifkan transfer tidak akan menghapus data apa pun yang telah ditransfer ke BigQuery. Data yang sebelumnya ditransfer akan dikenai biaya penyimpanan BigQuery standar hingga Anda menghapus set data atau menghapus tabel.
Untuk menonaktifkan transfer:
Konsol
Di konsol Google Cloud, buka halaman BigQuery.
Klik Transfers.
Di halaman Transfers, klik transfer dalam daftar yang ingin dinonaktifkan.
Klik DISABLE. Untuk mengaktifkan kembali transfer, klik ENABLE.
bq
Penonaktifan transfer tidak didukung oleh CLI.
API
Gunakan metode projects.locations.transferConfigs.patch
dan tetapkan disabled
ke true
di
resource projects.locations.transferConfig
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Untuk mengaktifkan kembali transfer:
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Menghapus transfer
Saat transfer dihapus, tidak ada operasi transfer baru yang dijadwalkan. Setiap transfer yang sedang berlangsung akan dihentikan.
Menghapus transfer tidak akan menghapus data yang telah ditransfer ke BigQuery. Data yang sebelumnya ditransfer akan dikenai biaya penyimpanan BigQuery standar hingga Anda menghapus set data atau menghapus tabel.
Untuk menghapus transfer:
Konsol
Di konsol Google Cloud, buka halaman BigQuery.
Klik Transfers.
Di halaman Transfers, klik transfer dalam daftar yang ingin dihapus.
Klik DELETE. Sebagai langkah keamanan, Anda harus mengetik kata "delete" ke dalam kotak untuk mengonfirmasi niat Anda.
bq
Masukkan perintah bq rm
dan masukkan nama resource
konfigurasi transfer. Anda dapat menggunakan flag -f
untuk menghapus konfigurasi transfer tanpa
konfirmasi.
bq rm \
-f \
--transfer_config \
resource_name
Dengan keterangan:
- resource_name adalah Nama Resource transfer yang juga
disebut sebagai konfigurasi transfer). Jika Anda tidak mengetahui
Nama Resource transfer, berikan
perintah
bq ls --transfer_config --transfer_location=location
untuk mencantumkan semua transfer.
Misalnya, masukkan perintah berikut untuk menghapus konfigurasi transfer
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.
bq rm \
--transfer_config \
projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
API
Gunakan metode projects.locations.transferConfigs.delete
dan berikan resource yang akan dihapus menggunakan parameter name
.
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Memicu transfer secara manual
Anda dapat memicu transfer secara manual, yang juga disebut operasi pengisian ulang, untuk memuat file data tambahan di luar transfer yang dijadwalkan secara otomatis. Dengan sumber data yang mendukung parameter runtime, Anda juga dapat memicu transfer secara manual dengan menentukan tanggal atau rentang waktu untuk memuat data terdahulu.
Anda dapat memulai pengisian ulang data secara manual kapan saja. Selain batas sumber, BigQuery Data Transfer Service mendukung maksimum 180 hari per permintaan pengisian ulang. Permintaan pengisian ulang simultan tidak didukung.
Untuk mengetahui informasi tentang jumlah data yang tersedia untuk pengisian ulang, lihat panduan transfer untuk sumber data Anda.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan dalam mengubah transfer,
minta administrator untuk memberi Anda
peran IAM BigQuery Admin (roles/bigquery.admin
) pada project.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Memicu transfer atau pengisian ulang secara manual
Anda dapat memicu proses transfer atau pengisian ulang secara manual dengan metode berikut:
- Pilih transfer yang dijalankan menggunakan Google Cloud Console, lalu klik Run transfer now atau Schedule backfill.
- Menggunakan perintah
bq mk –transfer run
dengan alat command linebq
- Panggil metode API
projects.locations.transferConfigs.startManualRuns method
.
Untuk petunjuk terperinci tentang setiap metode, pilih tab yang sesuai:
Konsol
Di konsol Google Cloud, buka halaman Data transfers.
Pilih transfer Anda dari daftar.
Klik Run transfer now atau Schedule backfill. Hanya satu opsi yang tersedia, bergantung pada jenis konfigurasi transfer.
Jika Anda mengeklik Run transfer now, pilih Run one time transfer atau Run for specific date jika berlaku. Jika Anda memilih Run for specific date, pilih tanggal dan waktu tertentu:
Jika Anda mengeklik Schedule backfill, pilih Run one time transfer atau Run for a date range jika berlaku. Jika Anda memilih Run for a date range, pilih tanggal dan waktu mulai dan akhir:
Klik OK.
bq
Untuk memulai proses transfer secara manual, masukkan perintah bq mk
dengan
tanda --transfer_run
:
bq mk \ --transfer_run \ --run_time='RUN_TIME' \ RESOURCE_NAME
Ganti kode berikut:
RUN_TIME
adalah stempel waktu yang menentukan tanggal transfer sebelumnya. Gunakan stempel waktu yang diakhiri dengan Z atau berisi offset zona waktu yang valid—misalnya,2022-08-19T12:11:35.00Z
atau2022-05-25T00:00:00+00:00
.- Jika transfer Anda tidak memiliki parameter runtime, atau Anda hanya ingin memicu transfer sekarang tanpa menentukan transfer sebelumnya, masukkan waktu saat ini di kolom ini.
RESOURCE_NAME
adalah nama resource yang tercantum di konfigurasi transfer Anda—misalnya,projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
.- Untuk menemukan nama resource konfigurasi transfer, lihat Mendapatkan informasi tentang transfer.
- Nama resource menggunakan format Relative resource name.
Untuk memulai proses transfer secara manual untuk rentang tanggal, masukkan perintah bq mk
dengan tanda --transfer_run
bersama dengan rentang tanggal:
bq mk \ --transfer_run \ --start_time='START_TIME' \ --end_time='END_TIME' \ RESOURCE_NAME
Ganti kode berikut:
START_TIME
danEND_TIME
adalah stempel waktu yang diakhiri dengan Z atau berisi offset zona waktu yang valid. Nilai ini menentukan rentang waktu yang berisi transfer sebelumnya yang ingin Anda isi ulang—misalnya,2022-08-19T12:11:35.00Z
atau2022-05-25T00:00:00+00:00
RESOURCE_NAME
adalah nama resource yang tercantum pada konfigurasi transfer Anda—misalnya,projects/myproject/locations/us/transferConfigs/1234a123-1234-1a23-1be9-12ab3c456de7
- Untuk menemukan nama resource konfigurasi transfer, lihat Mendapatkan informasi tentang transfer.
- Nama resource menggunakan format Relative resource name.
API
Untuk memulai proses transfer secara manual, gunakan metode
projects.locations.transferConfigs.startManualRuns
dan berikan nama resource konfigurasi transfer menggunakan parameter
induk. Untuk menemukan nama resource konfigurasi transfer, lihat Mendapatkan informasi tentang transfer
"requestedRunTime": "RUN_TIME"
Ganti kode berikut:
RUN_TIME
adalah stempel waktu yang menentukan tanggal transfer sebelumnya. Gunakan stempel waktu yang diakhiri dengan Z atau berisi offset zona waktu yang valid—misalnya,2022-08-19T12:11:35.00Z
atau2022-05-25T00:00:00+00:00
.- Jika transfer Anda tidak memiliki parameter runtime, atau Anda hanya ingin memicu transfer sekarang tanpa menentukan transfer sebelumnya, masukkan waktu saat ini di kolom ini.
Untuk memulai proses transfer secara manual untuk rentang tanggal, berikan rentang tanggal:
"requestedTimeRange": { "startTime": "START_TIME", "endTime": "END_TIME" }
Ganti kode berikut:
START_TIME
danEND_TIME
adalah stempel waktu yang diakhiri dengan Z atau berisi offset zona waktu yang valid. Nilai ini menentukan rentang waktu yang berisi transfer sebelumnya yang ingin Anda isi ulang—misalnya,2022-08-19T12:11:35.00Z
atau2022-05-25T00:00:00+00:00
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.
Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.
Logging dan pemantauan
BigQuery Data Transfer Service mengekspor log dan metrik ke Cloud Monitoring dan Cloud Logging yang menyediakan kemampuan observasi ke dalam transfer Anda. Anda dapat menggunakan Monitoring untuk menyiapkan dasbor guna memantau transfer, mengevaluasi performa transfer yang dijalankan, dan melihat pesan error untuk memecahkan masalah kegagalan transfer. Anda dapat menggunakan Logging untuk melihat log terkait proses transfer atau konfigurasi transfer.
Anda juga dapat melihat log audit yang tersedia di BigQuery Data Transfer Service untuk log aktivitas transfer dan akses data.