Halaman ini menjelaskan cara menghapus error umum dari set data saat Anda menyiapkan data di ruang kerja Wrangler di Cloud Data Fusion Studio.
Jenis error berikut terjadi dalam set data:
- Error sistemik, seperti kegagalan layanan atau instance
- Error logika, seperti kegagalan pengoperasian pipeline
- Error data, seperti nomor kartu kredit tidak valid, format tanggal tidak valid, atau kode pos tidak valid
Wrangler menyediakan serangkaian lebih dari 50 perintah untuk membantu Anda menghapus error umum dari set data.
Untuk mengirim data ke error, ikuti langkah-langkah berikut:
- Buka ruang kerja Wrangler di Cloud Data Fusion.
- Di tab Data, buka nama kolom, lalu klik panah peluas arrow_drop_down.
- Pilih Kirim ke error, lalu pilih kondisi yang mengirim data buruk ke error.
Wrangler menghapus nilai yang cocok dengan kondisi yang ditentukan dari sampel dan
menambahkan perintah send to error ke resep. Saat Anda menjalankan pipeline data, transformasi akan diterapkan ke semua nilai dalam kolom.
Menambahkan plugin kolektor error ke pipeline data
Saat menambahkan transformasi Wrangler dengan resep yang menyertakan perintah send to
error ke pipeline data, Anda dapat memilih untuk menghubungkannya ke plugin Error
Collector. Plugin Error Collector biasanya terhubung ke plugin sink downstream, seperti sink BigQuery.
Saat Anda menjalankan pipeline, kumpulan data yang ditandai oleh perintah send to error
akan berpindah dari langkah transformasi Wrangler di pipeline, ke langkah Pengumpul Error, ke langkah sink. Setelah operasi selesai, Anda dapat memeriksa data yang ditandai tersebut
yang ditulis ke sink.
Jika resep Anda menyertakan transformasi send to error, tetapi pipeline
tidak menyertakan plugin Error Collector, data yang ditandai oleh perintah send to
error akan dihapus selama pipeline dijalankan.
Langkah selanjutnya
- Pelajari lebih lanjut Perintah Wrangler.