Apa itu arsitektur data?

Arsitektur data adalah cetak biru yang menjelaskan cara perusahaan Anda menangani informasi dari awal hingga akhir. Anggap saja seperti rencana instalasi pipa dan listrik untuk sebuah rumah. Seperti halnya rencana yang menunjukkan letak pipa dan kabel, arsitektur data menunjukkan cara data dikumpulkan, tempat penyimpanan data, cara data diubah, dan siapa yang dapat menggunakannya. Diagram ini memetakan jalur data saat berpindah dari klik pelanggan pada aplikasi ke laporan di meja manajer.

Mengapa arsitektur data penting

Beroperasi tanpa rencana formal sama seperti membangun kota tanpa peta. Seiring waktu, Anda akan berakhir dengan "data swamp". Data swamp adalah area penyimpanan besar yang dipenuhi data mentah yang tidak dapat ditemukan, dipercaya, atau digunakan oleh siapa pun. Jika data ditimbun tanpa desain, tim engineering Anda akan menghabiskan lebih banyak waktu untuk mencari informasi daripada membangun fitur baru atau melatih model AI.

Arsitektur yang baik juga bertindak sebagai penerjemah antara pemimpin IT dan bisnis. Jika seorang pemimpin mengatakan, "Kita perlu melihat tren pelanggan saat terjadi," arsitektur akan mengubah sasaran tersebut menjadi kenyataan teknis. Arsitektur ini dapat menginstruksikan engineer untuk membangun pipeline streaming ke alat seperti BigQuery. Penyelarasan ini memastikan bahwa setiap dolar yang dibelanjakan untuk teknologi benar-benar membantu perusahaan berkembang.

Komponen utama arsitektur data modern

Arsitektur data modern mengikuti siklus proses: data dibuat, dipindahkan, disimpan, disempurnakan, dan digunakan. Untuk memahami cara kerjanya, sebaiknya lihat jalur data melalui berbagai sistem.

Elemen penyusun teknis sistem ini bertindak sebagai fondasi untuk semua yang dibangun developer Anda. Setiap bagian memiliki tugas khusus.

Sumber data

Semuanya dimulai dari tempat data dibuat. Hal ini dapat berupa aplikasi yang digunakan pelanggan, sensor di lantai pabrik (IoT), atau API pihak ketiga. Sumber ini mengirimkan campuran data terstruktur (seperti nama dan tanggal) dan data tidak terstruktur (seperti log chat) dengan kecepatan yang berbeda.

Database

Ini adalah alat khusus yang menyimpan data aplikasi sehari-hari Anda. Developer menggunakan database relasional untuk hal-hal seperti transaksi bank dan database nonrelasional (NoSQL) untuk hal-hal seperti profil pengguna. Pada akhirnya, Anda perlu menarik data dari rumah "operasional" ini agar dapat menggunakannya untuk project yang lebih besar atau pelatihan ML.

Pipeline dan integrasi data

Pipeline adalah sistem peredaran darah arsitektur Anda. Mereka menggunakan proses yang disebut ETL (Ekstraksi, Transformasi, Pemuatan) atau ELT untuk memindahkan data. Pipeline ini menarik informasi dari sumber, membersihkan kesalahan, dan merutekannya ke tempat pusat yang dapat digunakan.

Data lake

Data lake adalah area penyimpanan besar dan skalabel untuk data mentah. Dengan data lake, Anda dapat "mendaratkan" data dengan cepat tanpa perlu memformatnya terlebih dahulu. Hal ini menghilangkan silo karena setiap tim dapat mengakses informasi mentah yang sama dan menggunakannya untuk kebutuhan spesifik mereka.

Analisis data dan warehouse

Di sinilah data diatur untuk pekerjaan penting. Data warehouse dan "mart" modern menyediakan ruang terstruktur untuk kueri cepat dan pemberitahuan real-time. Layanan ini membantu Anda menjalankan laporan besar tanpa terhambat oleh file yang berantakan dan tidak terorganisir.

Kecerdasan buatan dan machine learning

Agar AI dapat berfungsi, Anda memerlukan data baru yang stabil. Data scientist menggunakan arsitektur ini untuk menemukan data guna melatih model. Sistem kemudian harus terus memberi model tersebut informasi baru agar tetap akurat di dunia nyata.

Tata kelola data

Tata kelola data mencakup aturan dan alat yang menjaga data tetap bersih dan legal. Tata kelola data sering kali menggunakan katalog pusat agar orang dapat menemukan apa yang mereka butuhkan. Tata kelola data juga menetapkan peran, sehingga hanya orang yang tepat yang dapat melihat info sensitif, sehingga perusahaan tetap mematuhi hukum privasi.

Jenis arsitektur data

Sebagian besar organisasi memilih antara tiga cara utama untuk mengatur alur data mereka.

Arsitektur data terpusat

Ini adalah cara tradisional dalam melakukan sesuatu. Semua data dari seluruh perusahaan masuk ke dalam satu data warehouse atau data lake yang besar dan terpadu. Hal ini bagus untuk menjaga "satu sumber tepercaya" dan memudahkan untuk menetapkan satu set aturan. Namun, hal ini dapat menimbulkan hambatan. Jika setiap tim harus menunggu satu grup IT pusat untuk memindahkan data mereka, proses akan melambat seiring pertumbuhan perusahaan.

Arsitektur data terdesentralisasi

Dalam model modern ini, berbagai tim bisnis (seperti pemasaran atau keuangan) memiliki dan mengelola data mereka sendiri. Mereka terhubung oleh serangkaian aturan dan alat yang sama. Model ini, yang sering disebut data mesh atau data fabric, memungkinkan tim bergerak lebih cepat karena mereka tidak perlu menunggu departemen pusat.

Arsitektur Data Lakehouse

Data lakehouse adalah arsitektur modern yang menggabungkan penyimpanan data lake yang fleksibel dan berbiaya rendah dengan pengelolaan dan transaksi data warehouse yang berperforma tinggi. Data lakehouse memungkinkan bisnis menjalankan semuanya, mulai dari pelaporan dasar hingga machine learning tingkat lanjut secara langsung di satu platform terpadu, sehingga menghindari keterikatan pada vendor.

Cara merancang arsitektur data perusahaan

Langkah 1: Menyelaraskan dengan sasaran bisnis

Jangan mulai dengan alat, mulailah dengan "mengapa". Mengidentifikasi apa yang perlu dicapai bisnis. Mungkin Anda perlu mendeteksi penipuan kartu kredit secara real time, atau mungkin Anda ingin membangun chatbot AI generatif. Mengetahui sasaran akan memberi tahu Anda jenis arsitektur yang dibutuhkan.

Langkah 2: Menilai kematangan data saat ini

Lihat apa yang sudah Anda miliki. Periksa sistem "lama", data silo, dan tempat data terperangkap. Audit ini membantu Anda memutuskan apa yang dapat dipertahankan dan apa yang perlu dipindahkan ke cloud.

Langkah 3: Menentukan kebijakan tata kelola data

Tetapkan aturan Anda sebelum membeli teknologi. Tentukan siapa yang memiliki data dan bagaimana data tersebut akan tetap bersih. Jika Anda mengintegrasikan kepatuhan ke dalam fondasi, Anda tidak perlu terburu-buru memperbaiki celah keamanan nanti.

Langkah 4: Pilih teknologi cloud yang tepat

Sekarang, pilih stack Anda. Pilih alat untuk memindahkan, menyimpan, dan mentransformasi data yang bekerja dengan baik bersama-sama. Pastikan alat tersebut mendukung pola yang Anda pilih, seperti Lakehouse atau Mesh, dan dapat menangani rencana AI Anda di masa mendatang.

Manfaat utama arsitektur data

Menyempurnakan proses pengambilan keputusan

Jika data mudah ditemukan dan dipercaya, para pemimpin tidak perlu menebak-nebak. Mereka dapat melihat laporan real-time dan tren prediktif untuk mengambil langkah. Hal ini mengubah "kami rasa ini mungkin berhasil" menjadi "kami tahu ini berhasil".

Efisiensi operasional dan pengurangan biaya

Arsitektur yang baik akan mencegah Anda membayar data yang sama yang disimpan di tiga tempat berbeda. Selain itu, arsitektur ini juga mengotomatiskan bagian-bagian yang membosankan dari pemindahan data. Hal ini menghemat biaya tagihan cloud dan memungkinkan engineer Anda berfokus pada pembuatan hal-hal baru yang keren, bukan memperbaiki pipeline yang rusak.

Kesiapan AI dan machine learning

AI yang baik tidak akan ada tanpa data yang baik. Arsitektur yang tangguh menyediakan data yang bersih, terorganisir, dan terkelola yang diperlukan model untuk dipelajari. Hal ini memastikan AI generatif Anda memiliki konteks yang tepat untuk memberikan jawaban yang akurat dan bermanfaat.

Mengatasi tantangan bisnis Anda dengan Google Cloud

Pelanggan baru mendapatkan kredit gratis senilai $300 untuk dibelanjakan di Google Cloud.

Hubungi spesialis penjualan Google Cloud untuk membahas tantangan unik Anda secara lebih mendetail.

Produk Google Cloud untuk arsitektur data

Membangun arsitektur data modern memerlukan stack alat modular yang bekerja sama dengan lancar. Berikut adalah produk inti Google Cloud yang digunakan untuk membangun, mengelola, dan mengamankan lingkungan data Anda:

Referensi lainnya

Ringkasan BigQuery: Pelajari cara BigQuery memisahkan penyimpanan dan komputasi untuk menyediakan analisis berkecepatan tinggi.
Arsitektur dan fungsi dalam mesh data: Panduan teknis tentang penerapan kepemilikan data yang terdesentralisasi menggunakan Dataplex.
Google Cloud Well-Architected Framework: Praktik terbaik untuk mengelola data mulai dari penyerapan hingga pengarsipan dan penghapusan.
Pengantar AI Generatif: Memahami bagaimana fondasi data yang tangguh mendukung model machine learning terbaru.
Ringkasan desain keamanan infrastruktur Google: Dokumentasi teknis tentang cara mengamankan arsitektur data Anda menggunakan alat keamanan cloud bawaan.