Pemisah kustom

Pemisah kustom

Pemisah kustom dirancang untuk digunakan memisahkan dokumen komposit (dokumen yang terdiri dari beberapa class) menjadi sejumlah dokumen class tunggal dengan mengidentifikasi setiap dokumen logis. Misalnya, paket hipotek yang berisi beberapa class di dalamnya seperti pendaftaran, verifikasi penghasilan, dan tanda pengenal berfoto. Agar dapat digunakan, pemroses pemisah kustom dilatih dari awal menggunakan dokumen dan class kustom Anda sendiri.

Catatan: Dokumen logis adalah jenis dokumen unik dalam satu PDF yang dikemas yang mungkin berisi invoice, pengeluaran, ID, atau kontrak.

Deskripsi dan penggunaan pemisah

Anda membuat pemisah kustom yang secara khusus cocok dengan dokumen Anda, serta dilatih dan dievaluasi dengan data Anda. Pemroses ini mengidentifikasi class dokumen dari kumpulan class yang ditentukan pengguna. Kemudian, Anda dapat menggunakan pemroses terlatih ini pada dokumen produksi. Anda biasanya akan menggunakan pemisah kustom pada file yang terdiri dari berbagai jenis dokumen logis, lalu menggunakan identifikasi class masing-masing untuk meneruskan dokumen ke pemroses ekstraksi yang sesuai untuk mengekstrak entity.

Catatan: Pemisah kustom hanya memprediksi halaman yang membentuk berbagai dokumen dalam file komposit dan class setiap dokumen yang diidentifikasi. Di SDK Toolbox Dokument AI, ada kode untuk memisahkan secara fisik setiap dokumen logis yang diidentifikasi.

Karena model ML tidak sempurna dan memiliki tingkat error tertentu, dan karena error dalam pemisahan biasanya sangat bermasalah (pemisahan yang buruk membuat dua dokumen salah dan menyebabkan error ekstraksi), praktik terbaiknya adalah selalu memiliki langkah peninjauan manusia setelah prediksi pemisahan, tetapi sebelum pemisahan file yang sebenarnya. Berdasarkan persyaratan bisnis, ada alternatif untuk selalu melakukan peninjauan manusia:

• Gunakan skor keyakinan dalam prediksi untuk memutuskan apakah akan mengabaikan peninjauan manual (jika cukup tinggi). Nilai minimum skor keyakinan tersebut harus ditentukan berdasarkan data historis tentang rasio error pada skor keyakinan tertentu. Hal ini harus merupakan keputusan bisnis berdasarkan toleransi proses bisnis terhadap error dan persyaratan untuk mengabaikan peninjauan manual.
• Dalam beberapa kasus penggunaan, dokumen yang dipisah dapat dirutekan langsung ke ekstraktor yang sesuai sesuai dengan class yang diprediksi. Kemudian, jika ekstraksi tidak lengkap atau memiliki skor keyakinan rendah, isolasi dokumen yang dipisah dan picu dokumen gabungan asli dan keputusan pemisahan untuk ditinjau. Hal ini memiliki persyaratan alur kerja yang agak kompleks.

Membuat pemisah kustom di konsol Google Cloud

Panduan memulai ini menjelaskan cara menggunakan Document AI untuk membuat dan melatih pemisah kustom yang memisahkan dan mengklasifikasikan dokumen pengadaan. Sebagian besar persiapan dokumen telah selesai, sehingga Anda dapat berfokus pada pembuatan pemisah kustom.

Alur kerja umum untuk membuat dan menggunakan pemisah kustom adalah sebagai berikut:

1. Membuat pemisah kustom di Document AI.
2. Buat set data menggunakan bucket Cloud Storage kosong.
3. Menentukan dan membuat skema (class) pemroses.
4. Mengimpor dokumen.
5. Tetapkan dokumen ke set pelatihan dan pengujian.
6. Menganotasi dokumen secara manual di Document AI atau dengan tugas pelabelan.
7. Latih pemroses.
8. Evaluasi pemroses.
9. Deploy pemroses.
10. Uji prosesor.
11. Gunakan pemroses pada dokumen Anda.

Jika dokumen Anda berada dalam folder terpisah berdasarkan kelas, Anda dapat melewati langkah 6 dengan menentukan kelas pada waktu impor.

---

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

---

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

Membuat pemroses

1. Di konsol Google Cloud, di bagian Document AI, buka halaman Workbench.

   Workbench

2. Untuk Custom Document Splitter, pilih Create processor.

3. Di menu Create processor, masukkan nama untuk pemroses Anda, seperti my-custom-document-splitter.

   

4. Pilih wilayah yang terdekat dengan Anda.

5. Pilih Create. Tab Processor Details akan muncul.

Mengonfigurasi set data

Untuk melatih prosesor baru ini, Anda harus membuat set data dengan data pelatihan dan pengujian untuk membantu prosesor mengidentifikasi dokumen yang ingin Anda bagi dan klasifikasikan.

Set data ini memerlukan lokasi baru. Ini dapat berupa folder atau bucket Cloud Storage kosong, atau Anda dapat mengizinkan lokasi Dikelola Google (internal).

• Jika Anda menginginkan penyimpanan yang dikelola Google, pilih opsi tersebut.
• Jika Anda ingin menggunakan penyimpanan Anda sendiri untuk menggunakan Kunci Enkripsi yang Dikelola Pelanggan (CMEK), pilih Saya akan menentukan lokasi penyimpanan saya sendiri dan ikuti prosedur selanjutnya.

Catatan: Folder untuk set data harus diperlakukan sebagai hanya baca. Jangan mengubah atau menambahkan apa pun.

Membuat bucket Cloud Storage untuk set data

Catatan: Jangan gunakan bucket yang sama dengan tempat dokumen Anda disimpan.

1. Buka tab Latih pemroses Anda.

2. Pilih Setel lokasi set data. Anda akan diminta untuk memilih atau membuat bucket atau folder Cloud Storage kosong.

   

3. Pilih Cari untuk membuka Pilih folder.

4. Pilih ikon Create a new bucket dan ikuti petunjuk untuk membuat bucket baru. Setelah Anda membuat bucket, halaman Select folder akan muncul untuk bucket tersebut. Untuk informasi selengkapnya tentang cara membuat bucket Cloud Storage, lihat Bucket Cloud Storage.

   Catatan: Bucket adalah entitas penyimpanan tingkat teratas, tempat Anda dapat menyusun bertingkat folder. Daripada membuat dan memilih bucket, Anda juga dapat membuat dan memilih folder kosong di dalam bucket yang ada. Untuk mengetahui informasi selengkapnya, lihat Folder simulasi Cloud Storage.

5. Di halaman Pilih folder untuk bucket Anda, pilih Tombol pilih di bagian bawah dialog.

   

Pastikan jalur tujuan diisi dengan nama bucket yang Anda pilih. Pilih Create dataset. Pembuatan set data mungkin memerlukan waktu beberapa menit.

Menentukan skema pemroses

Anda dapat membuat skema pemroses sebelum atau setelah mengimpor dokumen ke dalam set data. Skema menyediakan label yang Anda gunakan untuk menganotasi dokumen.

1. Di tab Pelajari, pilih Edit Skema di kiri bawah. Halaman Kelola label akan terbuka.

2. Pilih Buat label.

3. Masukkan nama untuk label. Pilih Create. Lihat Menentukan skema pemroses untuk mengetahui petunjuk mendetail tentang cara membuat dan mengedit skema.

   Catatan: Setelah dilatih, label tidak dapat dihapus. Sebagai gantinya, Anda dapat menonaktifkan label yang tidak ingin digunakan.

4. Buat setiap label berikut untuk skema prosesor.

   • bank_statement
   • form_1040
   • form_w2
   • form_w9
   • paystub

5. Pilih Simpan setelah label selesai.

   

Mengimpor dokumen tanpa label ke set data

Langkah berikutnya adalah mulai mengimpor dokumen yang tidak berlabel ke set data Anda dan memberi label pada dokumen tersebut. Alternatif yang direkomendasikan adalah mengimpor dokumen yang diatur dalam folder berdasarkan kelas, jika tersedia.

Jika mengerjakan project sendiri, Anda menentukan cara memberi label pada data. Lihat Opsi pemberian label.

Prosesor kustom Document AI memerlukan minimal 10 dokumen dalam set pelatihan dan pengujian, bersama dengan 10 instance dari setiap label di setiap set. Sebaiknya gunakan setidaknya 50 dokumen dalam setiap set, dengan 50 instance dari setiap label untuk mendapatkan performa terbaik. Secara umum, makin banyak data pelatihan, makin tinggi akurasinya.

1. Di tab Pelatihan, pilih Impor dokumen.

   

2. Untuk contoh ini, masukkan jalur ini di Jalur sumber. File ini berisi satu PDF dokumen.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-Unlabeled
   

3. Tetapkan Label dokumen sebagai Tidak ada.

4. Tetapkan dropdown Pembagian set data ke Tidak ditetapkan.

   Dokumen dalam folder ini tidak diberi label atau ditetapkan ke set pengujian atau pelatihan secara default.

5. Pilih Impor. Document AI membaca dokumen dari bucket ke set data. Tindakan ini tidak mengubah bucket impor atau membaca dari bucket setelah impor selesai.

Saat mengimpor dokumen, Anda dapat menetapkan dokumen ke set Pelatihan atau Pengujian saat diimpor, atau menunggu untuk menetapkannya nanti.

Jika Anda ingin menghapus dokumen yang telah diimpor, pilih dokumen tersebut di tab Pelajari, lalu pilih Hapus.

Untuk informasi selengkapnya tentang cara menyiapkan data untuk diimpor, lihat Panduan persiapan data.

Opsional: Melabeli dokumen secara massal saat mengimpor

Anda dapat memberi label pada semua dokumen yang berada dalam direktori tertentu saat mengimpor untuk menghemat waktu dengan pemberian label. Jika dokumen pelatihan Anda diatur berdasarkan class dalam folder, Anda dapat menggunakan kolom Label dokumen untuk menentukan class untuk dokumen tersebut dan menghindari pemberian label manual pada setiap dokumen.

Dalam gambar, Bank_statements dan Invoice adalah label yang ditentukan (class dokumen) yang tersedia dan dapat Anda pilih. Atau, Anda dapat menggunakan CREATE LABEL dan menentukan class baru.

1. Klik Impor dokumen.

2. Masukkan jalur berikut di Source path. Bucket ini berisi dokumen tanpa label dalam format PDF.

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-BatchLabel

3. Dari daftar Pembagian data, pilih Pembagian otomatis. Tindakan ini akan otomatis membagi dokumen menjadi 80% dalam set pelatihan, dan 20% dalam set pengujian.

4. Di bagian Terapkan label, pilih Pilih label.

5. Untuk contoh dokumen ini, pilih lainnya.

6. Klik Import dan tunggu hingga dokumen selesai diimpor. Anda dapat meninggalkan halaman ini dan kembali lagi nanti.

Memberi label pada dokumen

Proses penerapan label ke dokumen dikenal sebagai anotasi.

1. Kembali ke tab Pelajari, lalu pilih dokumen untuk membuka konsol Pengelolaan label.

2. Dokumen ini berisi beberapa grup halaman yang perlu diidentifikasi dan diberi label. Pertama, Anda perlu mengidentifikasi titik pemisahan. Gerakkan mouse di antara halaman 1 dan 2 dalam tampilan gambar, lalu pilih simbol +.

   

3. Buat titik pemisahan sebelum nomor halaman berikut: 2, 3, 4, 5.

   Konsol Anda akan terlihat seperti ini setelah selesai.

   Catatan: Anda dapat melakukan langkah 4 (menetapkan jenis dokumen) segera setelah dokumen logis dibagi.

4. Di dropdown Document type, pilih label yang sesuai untuk setiap grup halaman.

   Halaman	Jenis dokumen
   1	paystub
   2	form_w9
   3	bank_statement
   4	form_w2
   5 & 6	form_1040

   Dokumen berlabel akan terlihat seperti ini setelah selesai:

5. Pilih Tandai sebagai Dilabeli setelah Anda selesai menganotasi dokumen.

   Di tab Latih, panel sebelah kiri menunjukkan bahwa 1 dokumen telah diberi label.

Menetapkan dokumen yang dianotasi ke set pelatihan

Setelah memberi label pada contoh dokumen ini, Anda dapat menetapkannya ke set pelatihan.

1. Di tab Pelatihan, pilih kotak centang Select All.

2. Dari daftar Tetapkan ke Set, pilih Pelatihan.

Di panel kiri, Anda dapat menemukan bahwa 1 dokumen telah ditetapkan ke set pelatihan.

Mengimpor data dengan pelabelan batch

Selanjutnya, Anda mengimpor file PDF tanpa label yang diurutkan ke dalam folder Cloud Storage yang berbeda berdasarkan jenisnya. Pemberian label secara massal membantu menghemat waktu pemberian label dengan menetapkan label pada waktu impor berdasarkan jalur.

1. Di tab Pelatihan, pilih Impor dokumen.

2. Masukkan jalur berikut di Source path. Folder ini berisi PDF laporan mutasi bank.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/bank-statement
   

3. Tetapkan Label dokumen sebagai bank_statement.

4. Tetapkan, di menu Dataset split, ke Auto-split. Tindakan ini akan otomatis membagi dokumen menjadi 80% dalam set pelatihan dan 20% dalam set pengujian.

5. Pilih Tambahkan Folder Lain untuk menambahkan lebih banyak folder.

6. Ulangi langkah sebelumnya dengan jalur dan label dokumen berikut:

   Jalur bucket	Label dokumen
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/1040	form_1040
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/w2	form_w2
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/w9	form_w9
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/paystub	paystub

   Konsol akan terlihat seperti ini setelah selesai:

7. Pilih Impor. Proses impor memerlukan waktu beberapa menit.

Setelah impor selesai, temukan dokumen di tab Train.

Mengimpor data pra-label

Dalam panduan ini, Anda akan diberi data yang telah diberi label dalam format Document sebagai file JSON.

Ini adalah format yang sama dengan yang dihasilkan Document AI saat memproses dokumen, memberi label dengan Human-in-the-Loop, atau mengekspor set data.

1. Di tab Pelatihan, pilih Impor dokumen.

2. Masukkan jalur berikut di Source path.

   cloud-samples-data/documentai/Custom/Lending-Splitter/JSON-Labeled
   

3. Tetapkan Label dokumen sebagai Tidak ada.

4. Tetapkan dropdown Pemisahan set data ke Pemisahan otomatis.

5. Pilih Impor.

Setelah impor selesai, temukan dokumen di tab Train.

Melatih pemroses

Setelah mengimpor data pelatihan dan pengujian, Anda dapat melatih pemroses. Karena pelatihan mungkin memerlukan waktu beberapa jam, pastikan Anda telah menyiapkan pemroses dengan data dan label yang sesuai sebelum memulai pelatihan.

1. Pilih Train New Version.

2. Di kolom Nama versi, masukkan nama untuk versi prosesor ini, seperti my-cds-version-1.

3. (Opsional) Pilih View Label Stats untuk menemukan informasi tentang label dokumen. Hal ini dapat membantu menentukan cakupan Anda. Pilih Tutup untuk kembali ke penyiapan pelatihan.

   

4. Pilih Mulai pelatihan Anda dapat memeriksa statusnya di panel sebelah kanan.

Men-deploy versi pemroses

1. Setelah pelatihan selesai, buka tab Kelola Versi. Anda dapat melihat detail tentang versi yang baru saja dilatih.

2. Pilih tiga titik vertikal di sebelah kanan versi yang ingin Anda deploy, lalu pilih Deploy versi.

3. Pilih Deploy dari jendela pop-up.

   Deployment memerlukan waktu beberapa menit hingga selesai.

Mengevaluasi dan menguji pemroses

1. Setelah deployment selesai, buka tab Evaluate & Test.

   Di halaman ini, Anda dapat melihat metrik evaluasi termasuk skor F1, presisi, dan recall untuk dokumen lengkap, serta masing-masing label. Untuk informasi selengkapnya tentang evaluasi dan statistik, lihat Mengevaluasi prosesor.

2. Download dokumen yang belum pernah digunakan dalam pelatihan atau pengujian sebelumnya sehingga Anda dapat menggunakannya untuk mengevaluasi versi pemroses. Jika menggunakan data Anda sendiri, Anda akan menggunakan dokumen yang disediakan untuk tujuan ini.

   Download PDF

3. Pilih Upload Test Document, lalu pilih dokumen yang baru saja Anda download.

   Halaman Custom splitter analysis akan terbuka. Output layar menunjukkan seberapa baik dokumen dibagi dan diklasifikasikan.

   Konsol akan terlihat seperti ini setelah selesai:

   Anda juga dapat menjalankan ulang evaluasi terhadap set pengujian atau versi pemroses yang berbeda.

(Opsional) Mengimpor data dengan pelabelan otomatis

Setelah menerapkan versi prosesor terlatih, Anda dapat menggunakan Pelabelan otomatis untuk menghemat waktu pelabelan saat mengimpor dokumen baru.

1. Di tab Pelatihan, pilih Impor dokumen.

2. Masukkan jalur berikut di Source path. Folder ini berisi PDF tanpa label dari beberapa jenis dokumen.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-AutoLabel
   

3. Tetapkan Label dokumen sebagai Label otomatis.

4. Tetapkan dropdown Pemisahan set data ke Pemisahan otomatis.

5. Di bagian Auto-labeling, tetapkan Version sebagai versi yang telah Anda latih sebelumnya.

   • Contoh: 2af620b2fd4d1fcf

6. Pilih Import dan tunggu hingga dokumen selesai diimpor.

7. Anda tidak dapat menggunakan dokumen berlabel otomatis untuk pelatihan atau pengujian tanpa menandainya sebagai berlabel. Buka bagian Auto-labeled untuk melihat dokumen berlabel otomatis.

8. Pilih dokumen pertama untuk masuk ke konsol pelabelan.

9. Verifikasi label untuk memastikan label sudah benar, dan sesuaikan jika tidak.

10. Pilih Tandai sebagai Dilabeli setelah selesai.

11. Ulangi verifikasi label untuk setiap dokumen yang diberi label otomatis.

12. Kembali ke halaman Train dan pilih Train New Version untuk menggunakan data tersebut untuk pelatihan.

Menggunakan prosesor

Anda telah berhasil membuat dan melatih pemroses pemisah kustom.

Anda dapat mengelola versi prosesor yang dilatih secara kustom seperti versi prosesor lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengelola versi pemroses.

Setelah di-deploy, Anda dapat Mengirim permintaan pemrosesan ke pemroses kustom, dan respons dapat ditangani sama seperti pemroses pemisah lainnya.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Untuk menghindari tagihan Google Cloud yang tidak perlu, gunakan konsol Google Cloud untuk menghapus prosesor dan project jika Anda tidak membutuhkannya.

Jika Anda membuat project baru untuk mempelajari Document AI dan Anda tidak lagi memerlukan project tersebut, hapus project tersebut.

Jika Anda menggunakan project Google Cloud yang sudah ada, hapus resource yang dibuat untuk menghindari tagihan pada akun Anda:

1. Di menu navigasi konsol Google Cloud, pilih Document AI, lalu pilih My Processors.

2. Pilih Tindakan lainnya di baris yang sama dengan prosesor yang ingin Anda hapus.

3. Pilih Hapus prosesor, ketik nama prosesor, lalu pilih Hapus lagi untuk mengonfirmasi.

Langkah selanjutnya