Data lakehouse menggunakan penyimpanan objek cloud berbiaya rendah dari data lake guna menyediakan penyimpanan on-demand yang skalabel untuk volume data yang sangat besar dalam bentuk mentahnya. Kemudian, data lakehouse mengintegrasikan lapisan metadata ke penyimpanan ini untuk menyediakan performa dan pengoptimalan seperti data warehouse.

Arsitektur ini terdiri dari tiga lapisan inti:

• Lapisan penyimpanan: Penyimpanan objek berbiaya rendah untuk semua set data mentah, yang dipisahkan dari resource komputasi untuk memungkinkan penskalaan independen
• Lapisan staging: Lapisan metadata yang menyediakan katalog mendetail, menerapkan fitur pengelolaan seperti pengindeksan, penyimpanan dalam cache, dan kontrol akses
• Lapisan semantik: Lapisan yang ditampilkan kepada pengguna tempat aplikasi klien, alat analisis, dan data scientist mengakses data untuk eksperimen dan presentasi BI

Bagi data scientist, arsitektur data lakehouse adalah pendukung penting untuk analisis data AI dan machine learning.

• Skalabilitas tinggi: Komputasi dan penyimpanan yang terpisah memberikan skalabilitas yang hampir tanpa batas dan instan untuk melatih model berskala besar
• Dukungan untuk beragam workload: Data scientist dapat menghubungkan framework AI, mesin SQL, dan alat eksplorasi langsung ke repositori yang sama
• Kualitas data yang lebih baik: Skema yang diterapkan dan integritas data memastikan bahwa model ML dilatih dengan data yang tepercaya, konsisten, dan terbaru
• Tata kelola terpadu: Pengelolaan terpusat memudahkan penerapan kontrol keamanan di seluruh set data yang digunakan untuk BI dan AI

Pendekatan Google Cloud berfokus pada arsitektur terbuka, terkelola, dan berperforma tinggi yang memanfaatkan standar open source dan teknologi serverless terbaik. 

Apache Iceberg mengubah lakehouse dengan menghadirkan kemampuan data warehouse seperti lintas waktu dan evolusi skema langsung ke data lake.  Lakehouse Google Cloud memungkinkan penyimpanan, tata kelola, dan performa tingkat perusahaan untuk membangun kasus penggunaan AI analisis, operasional, dan real-time yang skalabel di lakehouse terbuka yang terpadu, lintas cloud, dan multimodal. Hal ini memungkinkan Anda memanfaatkan mesin open source secara langsung di Cloud Storage sekaligus menghindari keterikatan pada vendor.

Dapatkan akses data berkecepatan tinggi dan berlatensi rendah, di mana pun Anda berada. Gabungan katalog lintas cloud memadukan penemuan dan analisis di berbagai ekosistem.

BigQuery adalah platform data ke AI otonom serverless milik Google. Layanan ini mengotomatiskan seluruh siklus proses data dan dapat langsung membuat kueri tabel Iceberg di Cloud Storage, sehingga pengguna dapat memanfaatkan analisis SQL yang canggih pada data terkelola tanpa perlu memindahkan data 

Knowledge Catalog menyediakan tata kelola terpadu dan pengelolaan metadata yang didukung AI di seluruh lakehouse Anda. Alat ini memastikan semantik yang konsisten untuk analis data dan agen AI, sehingga menghilangkan silo antara metadata bisnis dan teknis.

Dengan Managed Service untuk Apache Spark, data engineer dan data scientist dapat mengembangkan aplikasi di alat yang sudah dikenal seperti notebook BigQuery Studio. Anda dapat mengirimkan tugas dengan satu perintah tanpa perlu membuat, mengonfigurasi, atau mengelola cluster.