Lakehouse data adalah arsitektur data modern yang menciptakan satu platform dengan menggabungkan manfaat utama data lake (repositori data mentah yang besar dalam bentuk aslinya) dan data warehouse (kumpulan data terstruktur yang terorganisasi). Secara khusus, lakehouse data memungkinkan organisasi menggunakan penyimpanan berbiaya rendah untuk menyimpan data mentah dalam jumlah besar sekaligus menyediakan fungsi pengelolaan data dan struktur. 

Selama ini, data warehouse dan data lake harus diimplementasikan sebagai arsitektur terpisah dan silo untuk menghindari kelebihan beban pada sistem yang mendasarinya dan menimbulkan pertentangan untuk resource yang sama. Perusahaan menggunakan data warehouse guna menyimpan data terstruktur untuk business intelligence (BI) dan pelaporan, sementara data lake digunakan untuk menyimpan data tidak terstruktur dan semi-terstruktur untuk workload machine learning (ML). Namun, pendekatan ini mengharuskan data dialihkan secara rutin di antara kedua sistem yang berbeda ketika data dari salah satu arsitektur tersebut perlu diproses bersama-sama, sehingga menimbulkan kompleksitas, biaya yang lebih tinggi, dan masalah terkait keaktualan, duplikasi, dan konsistensi data. 

Lakehouse data bertujuan mengurai silo ini dan memberikan fleksibilitas, skalabilitas, serta ketangkasan yang diperlukan guna memastikan data Anda menghasilkan nilai bagi bisnis Anda, bukan inefisiensi.

Istilah “lakehouse data” menggabungkan dua jenis repositori data yang ada: data warehouse dan data lake. Jadi, apa sebenarnya perbedaan antara lakehouse data vs. data lake vs. data warehouse? 

Data warehouse menyediakan akses cepat ke data dan kompatibilitas SQL bagi pengguna bisnis yang perlu membuat laporan dan insight untuk pengambilan keputusan. Semua data harus melalui fase ETL (ekstrak, transformasi, pemuatan). Artinya, data dioptimalkan dalam format atau skema tertentu berdasarkan kasus penggunaan sebelum dimuat untuk mendukung kueri berperforma tinggi dan integritas data. Namun, pendekatan ini membatasi fleksibilitas akses ke data dan menimbulkan biaya tambahan jika data perlu dipindahkan untuk penggunaan di masa mendatang. 

Data lake menyimpan data tak terstruktur dan terstruktur dalam jumlah besar dalam format native-nya. Tidak seperti data warehouse, data diproses, dibersihkan, dan diubah selama analisis untuk memungkinkan kecepatan pemuatan yang lebih cepat, sehingga ideal untuk pemrosesan big data, machine learning, atau analisis prediktif. Namun, data lake membutuhkan keahlian data science, yang membatasi sekelompok orang yang dapat menggunakan data, dan jika tidak dikelola dengan benar, kualitas data dapat menurun dari waktu ke waktu. Data lake juga mempersulit perolehan kueri real-time karena data belum diproses, sehingga data tersebut kemungkinan masih perlu dibersihkan, diproses, diserap, dan diintegrasikan sebelum dapat digunakan. 

Lakehouse data menggabungkan kedua pendekatan ini untuk membuat satu struktur yang memungkinkan Anda mengakses dan memanfaatkan data untuk berbagai tujuan, dari BI, data science, hingga machine learning. Dengan kata lain, lakehouse data menangkap semua data organisasi Anda yang tidak terstruktur, terstruktur, dan semi-terstruktur, lalu menyimpannya di penyimpanan berbiaya rendah sekaligus memberikan kemampuan bagi semua pengguna untuk mengatur dan mengeksplorasi data sesuai kebutuhan mereka. 

Fitur lakehouse data utama meliputi: 

• Penyimpanan data tunggal berbiaya rendah untuk semua jenis data (terstruktur, tidak terstruktur, dan semi-terstruktur) 
• Fitur pengelolaan data untuk menerapkan skema, menerapkan tata kelola data, serta menyediakan proses ETL dan pembersihan data
• Dukungan transaksi untuk properti ACID (atomicity, konsistensi, isolasi, dan ketahanan) guna memastikan konsistensi data saat beberapa pengguna membaca dan menulis data secara bersamaan 
• Format penyimpanan standar yang dapat digunakan di beberapa program software
• Streaming end-to-end untuk mendukung penyerapan data dan pembuatan insight secara real-time 
• Resource komputasi dan penyimpanan terpisah guna memastikan skalabilitas untuk beragam set workload

Akses langsung untuk aplikasi BI ke data sumber di lakehouse guna mengurangi duplikasi data. 

Saat membuat lakehouse data Anda berfungsi, penting untuk mempertimbangkan apa yang ingin dicapai. Lakehouse data bertujuan untuk memusatkan sumber data yang berbeda dan menyederhanakan upaya engineering sehingga semua orang di organisasi Anda dapat menjadi pengguna data. 

Lakehouse data menggunakan penyimpanan objek cloud biaya rendah yang sama dengan data lake untuk menyediakan penyimpanan on-demand agar mudah disediakan dan diskalakan. Seperti data lake, lakehouse data dapat menangkap dan menyimpan semua jenis data dalam jumlah besar dalam bentuk mentah. Lakehouse mengintegrasikan lapisan metadata ke penyimpanan ini untuk menyediakan kemampuan seperti warehouse, seperti skema terstruktur, dukungan untuk transaksi ACID, tata kelola data, serta fitur pengelolaan dan pengoptimalan data lainnya.

Konsep lakehouse data masih tergolong arsitektur yang relatif baru. Artinya, beberapa tantangan terbesar berkaitan dengan fakta bahwa lakehouse masih terus berkembang dan praktik terbaik masih ditentukan oleh para pengguna awal. 

Selain itu, lakehouse data rumit untuk dibangun dari awal. Pada umumnya, Anda harus memilih solusi lakehouse data siap pakai atau menggunakan platform seperti Google Cloud yang menawarkan semua komponen yang diperlukan untuk mendukung arsitektur lakehouse terbuka.

Arsitektur lakehouse data terdiri dari lapisan berikut: 

• Lapisan penyimpanan: Lapisan penyimpanan adalah lapisan data lake untuk semua data mentah Anda, biasanya merupakan penyimpanan objek berbiaya rendah untuk semua set data yang tidak terstruktur, terstruktur, dan semi-terstruktur. Sistem ini dipisahkan dari resource komputasi sehingga komputasi dapat diskalakan secara independen. 
• Lapisan staging: Lapisan staging adalah lapisan metadata yang berada di atas lapisan data lake Anda. Lapisan staging menyediakan katalog mendetail tentang semua objek data dalam penyimpanan, sehingga Anda dapat menerapkan fitur pengelolaan data, seperti penerapan skema, properti ACID, pengindeksan, penyimpanan dalam cache, dan kontrol akses.
• Lapisan semantik: Lapisan semantik, lapisan lakehouse, mengekspos semua data Anda untuk digunakan, tempat pengguna dapat menggunakan aplikasi klien dan alat analisis guna mengakses dan memanfaatkan data untuk presentasi business intelligence dan eksperimen. 

Ada beberapa contoh lakehouse data yang ada, termasuk Databricks Lakehouse Platform dan Amazon Redshift Spectrum. Namun, karena teknologi terus berkembang dan adopsi lakehouse data meningkat, implementasi tersebut telah beralih dari menggabungkan komponen lakehouse ke data lake tertentu. 

Misalnya, pendekatan Google Cloud adalah dengan menyatukan kemampuan inti operasi data, data lake, dan data warehouse perusahaan. Implementasi ini menempatkan daya penyimpanan dan komputasi BigQuery di pusat arsitektur lakehouse data. Kemudian, Anda dapat menerapkan pendekatan tata kelola terpadu dan kemampuan lain yang mirip dengan warehouse menggunakan Dataplex dan Analytics Hub. 

BigQuery tidak hanya terintegrasi dengan ekosistem Google Cloud, tetapi juga memungkinkan Anda menggunakan teknologi open source dan partner untuk menghadirkan kemampuan terbaik lake dan warehouse secara bersamaan dalam satu sistem.

Kami terus mengembangkan pendekatan ini dengan merilis BigLake, yang kini dalam versi Pratinjau, yaitu mesin penyimpanan terpadu yang menyederhanakan akses data ke data warehouse dan data lake. Anda dapat menerapkan kontrol akses yang terperinci dan mempercepat performa kueri di seluruh data yang terdistribusi.