Ringkasan BigQuery
BigQuery adalah platform data yang terkelola sepenuhnya dan siap AI yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, penelusuran, analisis geospasial, dan business intelligence. Arsitektur serverless BigQuery memungkinkan Anda menggunakan bahasa seperti SQL dan Python untuk menjawab pertanyaan terbesar organisasi Anda tanpa perlu mengelola infrastruktur.
BigQuery menyediakan cara yang seragam untuk menangani data terstruktur dan tidak terstruktur serta mendukung format tabel terbuka seperti Apache Iceberg, Delta, dan Hudi. Streaming BigQuery mendukung penyerapan dan analisis data berkelanjutan, sementara mesin analisis terdistribusi BigQuery yang skalabel memungkinkan Anda membuat kueri terabyte dalam hitungan detik dan petabyte dalam hitungan menit.
BigQuery menawarkan kemampuan tata kelola bawaan yang memungkinkan Anda menemukan dan mengelola data, serta mengelola metadata dan kualitas data. Melalui fitur seperti penelusuran semantik dan silsilah data, Anda dapat menemukan dan memvalidasi data yang relevan untuk analisis. Anda dapat membagikan data dan aset AI di seluruh organisasi dengan manfaat kontrol akses. Fitur ini didukung oleh Dataplex Universal Catalog, yang merupakan solusi tata kelola cerdas dan terpadu untuk aset data dan AI di Google Cloud.
Arsitektur BigQuery terdiri dari dua bagian: lapisan penyimpanan yang menyerap, menyimpan, dan mengoptimalkan data, serta lapisan komputasi yang menyediakan kemampuan analisis. Lapisan komputasi dan penyimpanan ini beroperasi secara efisien dan independen satu sama lain berkat jaringan skala petabit Google yang memungkinkan komunikasi yang diperlukan di antara keduanya.
Database lama biasanya harus berbagi resource antara operasi baca dan tulis serta operasi analitik. Hal ini dapat menyebabkan konflik resource dan memperlambat kueri saat data ditulis ke atau dibaca dari penyimpanan. Kumpulan resource bersama dapat menjadi lebih terbebani saat resource diperlukan untuk tugas pengelolaan database seperti menetapkan atau mencabut izin. Pemisahan lapisan komputasi dan penyimpanan BigQuery memungkinkan setiap lapisan mengalokasikan resource secara dinamis tanpa memengaruhi performa atau ketersediaan lapisan lainnya.
Prinsip pemisahan ini memungkinkan BigQuery berinovasi lebih cepat karena peningkatan penyimpanan dan komputasi dapat di-deploy secara independen, tanpa periode nonaktif atau dampak negatif pada performa sistem. Hal ini juga penting untuk menawarkan data warehouse serverless yang terkelola sepenuhnya, yang tim engineering BigQuery menangani update dan pemeliharaannya. Hasilnya, Anda tidak perlu menyediakan atau menskalakan resource secara manual, sehingga Anda dapat berfokus pada penyampaian nilai, bukan tugas pengelolaan database tradisional.
Antarmuka BigQuery meliputi antarmuka konsol dan alat command line BigQuery. Google Cloud Developer dan data scientist dapat menggunakan library klien dengan pemrograman familier termasuk Python, Java, JavaScript, dan Go, serta REST API dan RPC API BigQuery untuk mengubah dan mengelola data. Driver ODBC dan JDBC menyediakan interaksi dengan aplikasi yang ada, termasuk alat dan utilitas pihak ketiga.
Sebagai analis data, data engineer, administrator data warehouse, atau ilmuwan data, BigQuery membantu Anda memuat, memproses, dan menganalisis data untuk mendasari keputusan bisnis yang penting.
Mulai menggunakan BigQuery
Anda dapat mulai menjelajahi BigQuery dalam hitungan menit. Manfaatkan paket penggunaan gratis atau sandbox gratis BigQuery untuk mulai memuat dan membuat kueri data.
- Sandbox BigQuery: Mulai di sandbox BigQuery, bebas risiko dan tanpa biaya.
- Google Cloud Panduan memulai konsol: Pahami kecanggihan BigQuery Studio.
- Set data publik: Rasakan performa BigQuery dengan menjelajahi data dunia nyata yang besar dari Program Set Data Publik.
Jelajahi BigQuery
Infrastruktur serverless BigQuery memungkinkan Anda berfokus pada data, bukan pada pengelolaan resource. BigQuery menggabungkan data warehouse berbasis cloud dan alat analisis yang andal.
Penyimpanan BigQuery
BigQuery menyimpan data menggunakan format penyimpanan berbasis kolom yang dioptimalkan untuk kueri analitis. BigQuery menyajikan data dalam tabel, baris, dan kolom, serta memberikan dukungan penuh untuk semantik transaksi database (ACID). Penyimpanan BigQuery secara otomatis direplikasi ke beberapa lokasi untuk memberikan ketersediaan tinggi.
- Pelajari pola umum untuk mengatur resource BigQuery di data warehouse dan data mart.
- Pelajari set data, container level teratas untuk tabel dan tampilan BigQuery.
- BigQuery Data Transfer Service mengotomatiskan penyerapan data.
- Muat data ke BigQuery menggunakan:
- Streaming data dengan Storage Write API.
- Pemuatan batch data dari file lokal atau Cloud Storage menggunakan format yang meliputi: Avro .Parquet .ORC .CSV .JSON .Datastore , dan Firestore format.
Untuk mengetahui informasi selengkapnya, lihat Ringkasan penyimpanan BigQuery.
Analisis BigQuery
Penggunaan analisis deskriptif dan preskriptif mencakup business intelligence, analisis ad hoc, analisis geospasial, dan machine learning. Anda dapat membuat kueri untuk data yang tersimpan di BigQuery atau menjalankan kueri pada data di tempat data tersebut berada menggunakan tabel eksternal atau kueri gabungan termasuk Cloud Storage, Bigtable, Spanner, atau Google Spreadsheet yang disimpan di Google Drive.
- Kueri SQL standar ANSI (Dukungan SQL:2011) termasuk dukungan untuk gabungan, kolom bertingkat dan berulang, fungsi analisis dan agregasi, kueri multi-pernyataan, serta berbagai fungsi spasial dengan analisis geospasial - Sistem Informasi Geografis.
- Buat tampilan untuk membagikan analisis Anda.
- Dukungan alat business intelligence termasuk BI Engine dengan Looker Studio, Looker, Google Spreadsheet, dan alat pihak ketiga seperti Tableau dan Power BI.
- BigQuery ML menyediakan machine learning dan analisis prediktif.
- BigQuery Studio menawarkan fitur seperti notebook Python, dan kontrol versi untuk notebook dan kueri tersimpan. Fitur-fitur ini dapat memudahkan Anda menyelesaikan analisis data dan alur kerja machine learning (ML) di BigQuery.
- Buat kueri data di luar BigQuery dengan kueri gabungan dan tabel eksternal.
Untuk mengetahui informasi selengkapnya, baca Ringkasan analisis BigQuery.
Administrasi BigQuery
BigQuery menyediakan pengelolaan resource komputasi dan data terpusat, sementara Identity and Access Management (IAM) membantu Anda mengamankan resource tersebut dengan model akses yang digunakan di seluruh Google Cloud. Google Cloud Praktik terbaik keamanan memberikan pendekatan yang solid namun fleksibel yang dapat mencakup keamanan perimeter atau pendekatan pertahanan mendalam yang lebih kompleks dan terperinci.
- Pengantar keamanan dan tata kelola data membantu Anda memahami tata kelola data, dan kontrol apa saja yang mungkin Anda perlukan untuk mengamankan resource BigQuery.
- Tugas adalah tindakan yang dijalankan BigQuery atas nama Anda untuk memuat, mengekspor, membuat kueri, atau menyalin data.
- Reservasi memungkinkan Anda beralih antara harga sesuai permintaan dan harga berdasarkan kapasitas.
Untuk informasi lebih lanjut, lihat Pengantar administrasi BigQuery.
Referensi BigQuery
Pelajari referensi BigQuery:
- Catatan rilis memberikan log perubahan fitur, perubahan, dan penghentian penggunaan.
- Harga untuk analisis dan penyimpanan. Lihat juga: harga BigQuery ML, BI Engine, dan Data Transfer Service.
- Lokasi menentukan tempat Anda membuat dan menyimpan set data (lokasi regional dan multi-region).
- Stack Overflow menghosting komunitas developer dan analis yang aktif bekerja dengan BigQuery.
- Dukungan BigQuery menyediakan bantuan terkait BigQuery.
- Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale oleh Valliappa Lakshmanan dan Jordan Tigani, menjelaskan cara kerja BigQuery, serta memberikan solusi panduan tentang cara menggunakan layanan ini.
API, alat, dan referensi
Materi referensi untuk developer dan analis BigQuery:
- BigQuery API dan library klien menyajikan ringkasan fitur BigQuery dan penggunaannya.
- Sintaksis kueri SQL untuk mengetahui detail tentang penggunaan GoogleSQL.
- Contoh kode BigQuery menyediakan ratusan cuplikan untuk library klien di C#, Go, Java , Node.js, Python, Ruby. Atau lihat contoh browser.
- Sintaksis DML, DDL, dan fungsi yang ditentukan pengguna (UDF) memungkinkan Anda mengelola dan mengubah data BigQuery.
- Referensi alat command line bq mendokumentasikan sintaksis, perintah, flag, dan argumen untuk antarmuka CLI
bq
. - Integrasi ODBC / JDBC menghubungkan BigQuery ke alat dan infrastruktur yang ada.
Fitur Gemini di BigQuery
Gemini in BigQuery adalah bagian dari rangkaian produk Gemini for Google Cloud yang menyediakan bantuan yang didukung AI untuk membantu Anda menangani data.
Gemini in BigQuery menyediakan bantuan AI untuk membantu Anda melakukan hal berikut:
- Jelajahi dan pahami data Anda dengan insight data. Insight data menawarkan cara otomatis dan intuitif untuk menemukan pola dan melakukan analisis statistik dengan menggunakan kueri yang memberikan insight yang dihasilkan dari metadata tabel Anda. Fitur ini sangat membantu dalam mengatasi tantangan mulai dingin pada eksplorasi data awal. Untuk mengetahui informasi selengkapnya, lihat Menghasilkan insight data di BigQuery.
- Temukan, transformasikan, kueri, dan visualisasikan data dengan kanvas data BigQuery. Anda dapat menggunakan bahasa alami dengan Gemini di BigQuery, untuk menemukan, menggabungkan, dan mengkueri aset tabel, memvisualisasikan hasil, serta berkolaborasi dengan lancar bersama orang lain selama seluruh proses. Untuk mengetahui informasi selengkapnya, lihat Menganalisis dengan kanvas data.
- Mendapatkan analisis data SQL dan Python yang dibantu. Anda dapat menggunakan Gemini di
BigQuery untuk membuat atau menyarankan kode dalam SQL atau Python, dan untuk menjelaskan
kueri SQL yang ada. Anda juga dapat menggunakan kueri bahasa alami untuk memulai analisis data. Untuk
mempelajari cara membuat, melengkapi, dan meringkas kode, lihat dokumentasi berikut:
- Bantuan kode SQL
- Bantuan kode Python
- Siapkan data untuk analisis. Persiapan data di BigQuery memberi Anda rekomendasi transformasi yang dihasilkan AI dan sesuai konteks untuk membersihkan data guna dianalisis. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan data dengan Gemini.
- Menyesuaikan terjemahan SQL dengan aturan terjemahan. (Pratinjau) Buat aturan terjemahan yang ditingkatkan Gemini untuk menyesuaikan terjemahan SQL Anda saat menggunakan penerjemah SQL interaktif. Anda dapat menjelaskan perubahan pada output terjemahan SQL menggunakan perintah bahasa alami atau menentukan pola SQL untuk menemukan dan mengganti. Untuk mengetahui informasi selengkapnya, lihat Membuat aturan terjemahan.
Untuk mempelajari cara menyiapkan Gemini di BigQuery, lihat artikel Menyiapkan Gemini di BigQuery.
Peran dan resource BigQuery
BigQuery memenuhi kebutuhan para profesional data dalam berbagai peran dan tanggung jawab berikut.
Analis Data
Panduan tugas untuk membantu jika Anda perlu melakukan hal berikut:
- Membuat kueri data BigQuery menggunakan kueri interaktif atau batch menggunakan sintaksis kueri SQL
- Mereferensikan fungsi SQL, operator, dan ekspresi bersyarat untuk membuat kueri data
Gunakan alat untuk menganalisis dan memvisualisasikan data BigQuery termasuk: Looker, Looker Studio, dan Google Spreadsheet.
Gunakan analisis geospasial untuk menganalisis dan memvisualisasikan data geospasial dengan Sistem Informasi Geografis BigQuery
Optimalkan performa kueri menggunakan:
- Tabel berpartisi: Memangkas tabel besar berdasarkan waktu atau rentang bilangan bulat.
- Tampilan terwujud: Menentukan tampilan yang di-cache untuk mengoptimalkan kueri atau memberikan hasil yang persisten.
- BI Engine: Layanan analisis dalam memori yang cepat dari BigQuery.
Untuk mengikuti tur fitur analisis data BigQuery langsung di konsol Google Cloud , klik Ikuti tur.
Administrator Data
Panduan tugas untuk membantu jika Anda perlu melakukan hal berikut:
- Kelola biaya dengan reservasi untuk menyeimbangkan harga sesuai permintaan dan berdasarkan kapasitas.
- Memahami keamanan dan tata kelola data untuk membantu mengamankan data dengan set data, tabel, kolom, baris, atau tampilan
- Cadangkan data dengan snapshot tabel untuk mempertahankan isi tabel pada waktu tertentu.
- Lihat INFORMATION_SCHEMA BigQuery untuk memahami metadata set data, tugas, kontrol akses, reservasi, tabel, dan banyak lagi.
- Menggunakan Tugas agar BigQuery memuat, mengekspor, membuat kueri, atau menyalin data adalah tindakan atas nama Anda.
- Pantau log dan resource untuk memahami BigQuery dan beban kerja.
Untuk informasi selengkapnya, lihat Pengantar administrasi BigQuery.
Untuk mengikuti tur fitur administrasi data BigQuery langsung di konsol Google Cloud , klik Ikuti tur.
Data Scientist
Panduan tugas untuk membantu jika Anda perlu menggunakan machine learning BigQuery ML untuk melakukan hal berikut:
- Memahami perjalanan pengguna secara menyeluruh untuk model machine learning
- Mengelola kontrol akses untuk BigQuery ML
- Buat dan latih model ML BigQuery, termasuk:
- Perkiraan regresi linear
- Klasifikasi regresi logistik biner dan logistik multibahasa
- Pengelompokan K-means untuk segmentasi data
- Deret waktu dengan model Arima+
Developer Data
Panduan tugas untuk membantu jika Anda perlu melakukan hal berikut:
- Muat data ke BigQuery dengan:
- pemuatan data batch untuk format Avro, Parquet, ORC, CSV, JSON, Datastore, dan Firestore
- BigQuery Data Transfer Service
- BigQuery Storage Write API
Gunakan library contoh kode termasuk:
Google Cloud browser contoh (cakupan untuk BigQuery)
Tutorial video BigQuery
Rangkaian tutorial video berikut akan membantu Anda memulai BigQuery:
Title |
Deskripsi |
---|---|
Cara memulai BigQuery (17:18) | Ringkasan yang merangkum apa yang dimaksud dengan BigQuery dan cara menggunakannya. Segmen mencakup: pipeline ETL, harga dan pengoptimalan, BigQuery ML dan BI Engine, serta diakhiri dengan demo BigQuery di konsol Google Cloud . |
Apa itu BigQuery? (4:39) | Ringkasan BigQuery tentang desain BigQuery yang dirancang untuk menyerap dan menyimpan data dalam jumlah besar guna membantu analis dan developer |
Menggunakan sandbox BigQuery (3:05) | Cara menyiapkan sandbox BigQuery, yang memungkinkan Anda menjalankan kueri tanpa memerlukan kartu kredit |
Mengajukan pertanyaan, menjalankan kueri (5:11) | Cara menulis dan menjalankan kueri SQL di UI BigQuery, serta memilih nomor jersey pemenang |
Memuat data ke BigQuery (5:31) | Cara menyerap dan menganalisis data secara real time, atau hanya analisis data dalam batch satu kali - plus cats v. dogs |
Memvisualisasikan hasil kueri (5:38) | Bagaimana visualisasi data berguna untuk membuat {i>dataset<i} yang kompleks lebih mudah dipahami dan diinternalisasi |
Mengelola akses dengan IAM (5:23) | Cara mengizinkan pengguna lain membuat kueri set data Anda di BigQuery dengan izin IAM dan kontrol akses |
Menyimpan dan membagikan kueri (6:17) | Cara menyimpan dan membagikan kueri Anda di BigQuery tanpa repot |
Melindungi data sensitif dengan tampilan yang diizinkan (7:12) | Cara membagikan set data kepada berbagai pengguna dengan menetapkan kontrol akses yang disesuaikan |
Membuat kueri data eksternal dengan BigQuery (5:49) | Cara menyiapkan sumber data eksternal di BigQuery dan membuat kueri data dari Cloud Storage, Cloud SQL, Google Drive, dan lainnya |
Apa yang dimaksud dengan fungsi yang ditentukan pengguna? (4:59) | Cara membuat fungsi yang ditentukan pengguna (UDF) untuk menganalisis set data di BigQuery |
Langkah berikutnya
- Untuk mengetahui ringkasan penyimpanan BigQuery, lihat Ringkasan penyimpanan BigQuery.
- Untuk ringkasan kueri BigQuery, lihat Ringkasan analisis BigQuery.
- Untuk ringkasan administrasi BigQuery, lihat Pengantar administrasi BigQuery.
- Untuk ringkasan keamanan BigQuery, lihat Ringkasan tata kelola dan keamanan data.