Mekanisme ekstraktor kustom

Mekanisme ekstraktor kustom

Anda dapat membuat ekstraktor kustom yang secara khusus cocok dengan dokumen Anda, dan dilatih serta dievaluasi dengan data Anda. Pemroses ini mengidentifikasi dan mengekstrak entitas dari dokumen Anda. Kemudian, Anda dapat menggunakan prosesor terlatih ini pada dokumen tambahan.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

Membuat pemroses

1. Di konsol Google Cloud, di bagian Document AI, buka halaman Workbench.

   Workbench

2. Untuk ekstraktor kustom, pilih Create processor.

   

3. Di menu Create processor, masukkan nama untuk pemroses Anda, seperti my-custom-document-extractor.

   

4. Pilih wilayah yang terdekat dengan Anda.

5. Opsional: Buka Advanced options.

   • Anda memiliki opsi untuk mengizinkan Google membuat bucket Cloud Storage untuk Anda, atau Anda dapat membuat bucket Anda sendiri. Untuk tutorial ini, pilih Penyimpanan yang dikelola Google.

   • Anda juga memiliki opsi untuk menggunakan kunci enkripsi yang dikelola Google atau Kunci enkripsi yang dikelola pelanggan (CMEK). Untuk tutorial ini, pilih yang dikelola Google yang didukung Google Cloud.

6. Pilih Create untuk membuat pemroses.

Menentukan kolom prosesor

Anda sekarang berada di halaman Ringkasan prosesor dari prosesor yang baru saja Anda buat.

Anda dapat menentukan kolom yang ingin diekstrak oleh pemroses dan mulai memberi label pada dokumen.

1. Pilih tab Mulai. Menu kolom akan muncul.

2. Pilih Buat kolom baru.

3. Masukkan nama untuk kolom. Pilih Jenis data dan Kejadian. Berikan Deskripsi yang deskriptif dan berbeda untuk label. Deskripsi properti memungkinkan Anda memberikan konteks, insight, dan pengetahuan sebelumnya tambahan untuk setiap entity guna meningkatkan akurasi dan performa ekstraksi.

Catatan: Contoh deskripsi properti yang baik mencakup informasi lokasi dan pola teks nilai properti, yang membantu membedakan potensi sumber kebingungan dalam dokumen, dengan memandu model menggunakan aturan yang memastikan ekstraksi yang lebih andal dan konsisten, terlepas dari struktur dokumen atau variasi konten tertentu.

1. Pilih Create. Lihat Menentukan skema pemroses untuk mengetahui petunjuk mendetail tentang cara membuat dan mengedit skema.

Catatan: Model AI generatif (dasar dan yang dioptimalkan) menggunakan nama dan deskripsi kolom untuk membentuk perintah yang mendasarinya, sehingga nama kolom bersifat penting secara semantik. Lihat kolom nama untuk ekstraksi AI generatif.

1. Buat setiap label berikut untuk skema prosesor.

   Nama	Jenis Data	Kejadian
   control_number	Angka	Beberapa opsional
   employees_social_security_number	Angka	Required multiple
   employer_identification_number	Angka	Required multiple
   employers_name_address_and_zip_code	Address	Required multiple
   federal_income_tax_withheld	Money	Required multiple
   social_security_tax_withheld	Money	Required multiple
   social_security_wages	Money	Required multiple
   wages_tips_other_compensation	Money	Required multiple

   Anda juga dapat membuat dan menggunakan jenis label lainnya dalam skema pemroses, seperti kotak centang dan entitas tabel. Misalnya, formulir W-2 berisi kotak centang karyawan statutori, rencana pensiun, dan gaji sakit pihak ketiga yang juga dapat Anda tambahkan ke skema.

   

Mengupload dokumen contoh

Uji dengan dokumen contoh.

1. Pilih Upload contoh dokumen.

2. Di sidebar, pilih Import documents from Cloud Storage.

3. Untuk contoh ini, masukkan nama bucket ini di Jalur sumber. Link ini tertaut langsung ke satu dokumen.

   cloud-samples-data/documentai/Custom/W2/PDF/W2_XL_input_clean_2950.pdf
   

4. Pilih Impor

Anda akan dialihkan ke konsol pemberian label.

Memberi label pada dokumen

Proses memilih teks dalam dokumen dan menerapkan label dikenal sebagai anotasi atau pelabelan.

1. Saat Anda berada di konsol pemberian label, perhatikan bahwa banyak label sudah diisi. Hal ini karena jenis model ekstraktor kustom default adalah model dasar, yang dapat melakukan prediksi zero-shot, yaitu tanpa pelatihan.

   Catatan: Hasil Anda mungkin terlihat sedikit berbeda dengan gambar contoh.

   

2. Untuk menggunakan label yang disarankan, tahan kursor ke setiap label di panel samping, lalu pilih tanda centang untuk mengonfirmasi bahwa label sudah benar. Jangan mengedit teks, meskipun OCR membaca teks dengan salah.

3. Dalam contoh ini, nilai di bagian bawah dokumen tidak diidentifikasi secara otomatis, sehingga Anda perlu memberi label secara manual.

4. Gunakan ikon di toolbar di atas dokumen untuk memberi label. Gunakan alat bounding box secara default, atau alat Select text untuk nilai multibaris, guna memilih konten dan menerapkan label.

   Catatan: Alat pilih teks tidak berfungsi untuk semua nilai teks, jadi gunakan kotak pembatas jika sesuai. Anda juga dapat memilih kolom non-teks seperti kotak centang menggunakan alat bounding box.

5. Setelah teks dipilih, menu drop-down akan muncul dengan semua kolom (entity) yang ditentukan agar Anda dapat memilih salah satunya. Dalam contoh ini, nilai wages_tips_other_compensation dipilih dengan alat bounding box, dan label tersebut diterapkan.

   

6. Tinjau nilai teks yang terdeteksi untuk memastikan nilai tersebut mencerminkan lokasi teks yang benar untuk setiap kolom. Dokumen W2 berlabel akan terlihat seperti ini setelah selesai:

   

   Catatan: Jika kita memberi label untuk tujuan peninjauan produksi, OCR yang salah harus diedit.

7. Jika perlu, Anda dapat memilih Buat kolom baru untuk menambahkan kolom baru ke skema dari halaman ini.

8. Pilih Tandai sebagai diberi label setelah Anda selesai menganotasi dokumen. Anda akan dialihkan ke tab Mulai.

Mem-build versi pemroses menggunakan model dasar

Setelah melabeli satu dokumen, Anda dapat membuat versi pemroses menggunakan model dasar yang telah dilatih sebelumnya untuk mengekstrak entity.

1. Pilih tab Build.

   

2. Di bagian Model dasar panggilan, pilih Buat versi baru.

3. Masukkan nama untuk versi prosesor Anda, seperti w2-foundation-model.

4. Pilih Buat versi. Pembuatannya memerlukan waktu beberapa menit.

   Catatan: Setelah membuat versi pemroses, Anda tidak dapat mengubah atau menghapus kolom yang telah dibuat. Anda dapat menonaktifkannya di halaman kolom jika tidak lagi memerlukannya.

5. Opsional: pilih tab Deploy & use. Di halaman ini, Anda dapat melihat versi prosesor yang tersedia dan status deployment versi baru.

Menggunakan AI generatif untuk memberi label otomatis pada dokumen

Model dasar dapat mengekstrak kolom secara akurat untuk berbagai jenis dokumen, tetapi Anda juga dapat memberikan data pelatihan tambahan untuk meningkatkan akurasi model untuk struktur dokumen tertentu.

Ekstraktor kustom menggunakan nama label yang Anda tentukan dan anotasi sebelumnya untuk mempercepat dan mempermudah pemberian label pada dokumen dalam skala besar dengan pemberian label otomatis.

1. Buka halaman Build.

2. Pilih Impor dokumen.

3. Di sidebar, pilih Import documents from Google Cloud Storage.

4. Masukkan nama bucket ini yang berisi dokumen Anda.

5. Dari daftar Pembagian data, pilih Pembagian otomatis. Tindakan ini akan otomatis membagi dokumen menjadi 80% dalam set pelatihan dan 20% dalam set pengujian.

6. Di bagian Auto-labeling, pilih kotak centang Import with auto-labeling.

7. Pilih versi prosesor model dasar untuk melabeli dokumen.

8. pilih Import dan tunggu hingga dokumen selesai diimpor. Anda dapat meninggalkan halaman ini dan kembali lagi nanti.

9. Anda harus memverifikasi dokumen berlabel otomatis sebelum dapat menggunakannya untuk pelatihan atau pengujian. Pilih Mulai pelabelan untuk melihat dokumen berlabel otomatis.

10. Untuk menggunakan label yang disarankan, arahkan kursor ke setiap anotasi, dan pilih tanda centang untuk mengonfirmasi bahwa label sudah benar. Untuk tujuan pelatihan, jangan edit nilai jika tidak cocok dengan teks dokumen. Hanya ubah kotak pembatas jika teks yang salah dipilih.

11. Pilih Tandai sebagai diberi label setelah Anda selesai menganotasi dokumen.

12. Ulangi untuk setiap dokumen yang diberi label otomatis.

Mengimpor dokumen pelatihan yang telah diberi label

1. Buka halaman Build.

2. Pilih Impor dokumen.

3. Di sidebar, pilih Import documents from Cloud Storage.

4. Masukkan jalur Anda di Source path yang berisi dokumen Anda. Bucket ini harus berisi dokumen yang telah diberi label dalam format Document JSON.

5. Dari daftar Pembagian data, pilih Pembagian otomatis. Tindakan ini akan otomatis membagi dokumen menjadi 80% dalam set pelatihan, dan 20% dalam set pengujian. Biarkan Import with auto-labeling tidak dicentang.

6. Pilih Impor Proses impor memerlukan waktu beberapa menit.

Opsional: Melihat dan mengelola set data

1. Dari halaman Build, Anda dapat mengakses konsol Manage dataset untuk melihat dan mengedit semua dokumen dan label dalam set data.

Melatih pemroses berbasis model kustom

Pelatihan mungkin memerlukan waktu beberapa jam. Pastikan Anda telah menyiapkan pemroses dengan data dan label yang sesuai sebelum memulai pelatihan.

1. Untuk mengetahui informasi tentang persyaratan set data, di bagian Latih model kustom, pilih Buat versi baru atau Lihat persyaratan lengkap. Ini bukan model AI generatif. Setidaknya 10 instance pelatihan dan 10 instance pengujian dari setiap kolom diperlukan untuk prosesor berbasis model kustom.

2. Di kolom Nama versi, masukkan nama untuk versi prosesor ini, seperti w2-custom-model.

3. Opsional: pilih Lihat statistik label untuk menemukan informasi tentang label dokumen. Hal ini dapat membantu menentukan cakupan Anda. Pilih Tutup untuk kembali ke penyiapan pelatihan.

4. Di bagian Model training method, pilih Model based.

5. Pilih Mulai pelatihan. Pelatihan memerlukan waktu beberapa jam. Anda dapat menutup halaman ini dan kembali lagi nanti.

6. Opsional: pilih tab Deploy & use. Di halaman ini, Anda dapat melihat versi prosesor yang tersedia dan status pelatihan versi baru.

Men-deploy versi pemroses

1. Setelah pelatihan selesai, pilih tab Deploy & use.

2. Centang kotak di sebelah kiri versi yang ingin di-deploy, lalu pilih Deploy.

3. Pilih Deploy dari jendela dialog. Deployment memerlukan waktu beberapa menit.

4. Saat versi di-deploy, Anda dapat menetapkannya sebagai Versi default, atau Anda dapat memberikan ID versi saat memproses dokumen dengan API.

Mengevaluasi dan menguji pemroses

1. Pilih tab Evaluate untuk menguji versi prosesor. Di halaman ini, Anda dapat melihat metrik evaluasi termasuk skor F1, presisi, dan recall untuk dokumen lengkap, serta masing-masing label. Untuk mengetahui informasi selengkapnya tentang evaluasi dan statistik, lihat mengevaluasi prosesor.

2. Pilih pemilih Version, lalu pilih versi menggunakan model dasar.

3. Download dokumen yang belum pernah digunakan dalam pelatihan atau pengujian sebelumnya sehingga Anda dapat menggunakannya untuk mengevaluasi versi pemroses. Jika menggunakan data Anda sendiri, Anda akan menggunakan dokumen yang disediakan untuk tujuan ini.

   Download PDF

4. Pilih Upload Test Document, lalu pilih dokumen yang baru saja Anda download. Halaman Analisis Pengekstrak Dokumen Kustom akan terbuka. Output layar menunjukkan seberapa baik dokumen diekstrak.

5. Uji dokumen lagi menggunakan versi dengan model terlatih kustom.

Menggunakan prosesor

Anda telah berhasil membuat dan melatih pemroses ekstraktor kustom.

Anda dapat mengelola versi prosesor terlatih kustom seperti versi prosesor lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengelola versi pemroses.

Untuk menggunakan Document AI API:

• Ikuti contoh kode di mengirim permintaan pemrosesan untuk menggunakan pemrosesan online atau batch.
  • Lihat Kuota dan batas untuk mengetahui jumlah halaman yang didukung untuk pemrosesan online dan batch.
• Ikuti contoh kode ekstraktor kustom di Menangani respons pemrosesan untuk mendapatkan entitas yang diekstrak dari pemroses.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Untuk menghindari tagihan Google Cloud yang tidak perlu, gunakan konsol Google Cloud untuk menghapus prosesor dan project jika Anda tidak membutuhkannya.

Jika Anda membuat project baru untuk mempelajari Document AI dan Anda tidak lagi memerlukan project tersebut, hapus project tersebut.

Jika Anda menggunakan project Google Cloud yang sudah ada, hapus resource yang dibuat untuk menghindari tagihan pada akun Anda:

1. Di menu navigasi konsol Google Cloud, pilih Document AI, lalu pilih My Processors.

2. Pilih Tindakan lainnya di baris yang sama dengan prosesor yang ingin Anda hapus.

3. Pilih Hapus prosesor, masukkan nama prosesor, lalu pilih Hapus lagi untuk mengonfirmasi.

Langkah selanjutnya

Untuk mengetahui detailnya, lihat Panduan.