Membuat Pengklasifikasi Dokumen Kustom di konsol Google Cloud

Membuat Pengklasifikasi Dokumen Kustom di konsol Google Cloud

Pengklasifikasi kustom dirancang untuk mengklasifikasikan dokumen. Model ini dibuat dari awal menggunakan dokumen Anda sendiri dan class kustom.

Membuat pengklasifikasi kustom di konsol Google Cloud

Anda dapat membuat pengklasifikasi kustom yang secara khusus cocok dengan dokumen Anda, serta dilatih dan dievaluasi dengan data Anda. Pemroses ini mengidentifikasi class dokumen dari kumpulan class yang ditentukan pengguna. Kemudian, Anda dapat menggunakan pemroses terlatih ini pada dokumen tambahan. Anda biasanya akan menggunakan pengklasifikasi kustom pada dokumen yang merupakan jenis yang berbeda, lalu menggunakan identifikasi untuk meneruskan dokumen ke pemroses ekstraksi untuk mengekstrak entitas.

Alur kerja umum untuk membuat dan menggunakan pengklasifikasi kustom adalah sebagai berikut:

1. Membuat pengklasifikasi kustom di Document AI.
2. Buat set data menggunakan bucket Cloud Storage kosong.
3. Mengimpor dokumen.
4. Menganotasi dokumen secara manual di Document AI Workbench atau dengan tugas pelabelan.
5. Tetapkan dokumen ke set pelatihan dan pengujian.
6. Latih pemroses.
7. Evaluasi pemroses.
8. Deploy pemroses.
9. Uji prosesor.
10. Gunakan pemroses pada dokumen Anda.

Catatan: Jika dokumen Anda berada dalam folder terpisah berdasarkan kelas, Anda dapat melewati langkah 4 dengan menentukan kelas pada waktu impor.

Anda dapat membuat pilihan konfigurasi sendiri yang sesuai dengan alur kerja Anda.

---

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

---

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

Membuat pemroses

1. Buka Konsol Google Cloud, lalu pilih: Workbench

1. Untuk Custom Document Classifier, pilih Create processor.

   

2. Di menu Create processor, masukkan nama untuk pemroses Anda, seperti my-custom-document-classifier.

   

3. Pilih wilayah yang terdekat dengan Anda.

4. Pilih Create. Tab Processor Details akan muncul.

Mengonfigurasi set data

Untuk melatih prosesor baru ini, Anda harus membuat set data dengan data pelatihan dan pengujian untuk membantu prosesor mengidentifikasi dokumen yang ingin Anda bagi dan klasifikasikan.

Set data ini memerlukan lokasi baru. Ini dapat berupa folder atau bucket Cloud Storage kosong, atau Anda dapat mengizinkan lokasi yang dikelola secara internal.

Setelah tab Processor Details muncul, Anda dapat:

• Pilih Penyimpanan yang dikelola Google jika Anda ingin menggunakan Cloud Storage.
• Pilih I'll specify my own storage location jika Anda ingin menggunakan penyimpanan Anda sendiri untuk menggunakan Kunci Enkripsi yang Dikelola Pelanggan (CMEK), dan ikuti prosedur selanjutnya.

Catatan: Folder untuk set data harus diperlakukan sebagai hanya baca. Jangan mengubah atau menambahkan apa pun.

Membuat bucket Cloud Storage untuk set data

Catatan: Jangan gunakan bucket yang sama dengan tempat dokumen Anda disimpan.

1. Pilih tab Latih prosesor Anda.

2. Pilih Setel Lokasi Set Data. Anda akan diminta untuk memilih atau membuat bucket atau folder Cloud Storage kosong.

   

3. Pilih Browse untuk membuka Select folder.

4. Pilih ikon Create a new bucket dan ikuti petunjuk untuk membuat bucket baru. Untuk informasi selengkapnya tentang cara membuat bucket Cloud Storage, lihat Bucket Cloud Storage.

   Catatan: Bucket adalah entitas penyimpanan tingkat teratas, tempat Anda dapat menyusun bertingkat folder. Selain membuat dan memilih bucket, Anda juga dapat membuat dan memilih folder kosong di dalam bucket yang ada. Untuk informasi selengkapnya, lihat Folder simulasi Cloud Storage.

   Setelah Anda membuat bucket, halaman Select folder akan muncul untuk bucket tersebut.

5. Di halaman Select folder untuk bucket Anda, pilih tombol Select di bagian bawah dialog.

   

6. Pastikan jalur tujuan diisi dengan nama bucket yang Anda pilih. Pilih Create Dataset. Pembuatan set data mungkin memerlukan waktu beberapa menit.

Mengimpor dokumen ke set data

Selanjutnya, Anda mengimpor dokumen ke set data.

1. Di tab Pelatihan, pilih Impor dokumen.

   

2. Untuk contoh ini, masukkan nama bucket ini di Jalur sumber. Link ini tertaut langsung ke satu dokumen.

   cloud-samples-data/documentai/Custom/Patents/PDF/computer_vision_20.pdf
   

3. Untuk Pembagian data, pilih Tidak ditetapkan. Dokumen dalam folder ini tidak ditetapkan ke set pengujian atau pelatihan. Biarkan Import with auto-labeling tidak dicentang.

4. Pilih Impor Document AI membaca dokumen dari bucket ke dalam set data. Operasi ini tidak mengubah bucket impor atau membaca dari bucket setelah impor selesai.

Saat mengimpor dokumen, Anda dapat menetapkan dokumen ke set Pelatihan atau Pengujian saat diimpor, atau menunggu untuk menetapkannya nanti.

Jika Anda ingin menghapus dokumen yang telah diimpor, pilih dokumen tersebut di tab Latih, lalu pilih Hapus.

Untuk informasi selengkapnya tentang cara menyiapkan data untuk diimpor, lihat Panduan persiapan data.

Menentukan skema pemroses

Anda dapat membuat skema pemroses sebelum atau setelah mengimpor dokumen ke dalam set data. Skema menyediakan label yang Anda gunakan untuk menganotasi dokumen.

1. Di tab Pelajari, pilih Edit Skema di kiri bawah. Halaman Kelola label akan terbuka.

2. Pilih Buat label.

3. Masukkan nama untuk label. Pilih Data type. Pilih Buat. Lihat Menentukan skema pemroses untuk mengetahui petunjuk mendetail tentang cara membuat dan mengedit skema.

Catatan: Saat pemroses dilatih, label tidak dapat dihapus. Sebagai gantinya, Anda dapat menonaktifkan label yang tidak ingin digunakan.

1. Buat setiap label berikut untuk skema prosesor.

   Nama	Data Type
   computer_vision	Jenis dokumen
   crypto	Jenis dokumen
   med_tech	Jenis dokumen
   other	Jenis dokumen

2. Pilih Simpan setelah label selesai.

   

Memberi label pada dokumen

Proses memilih teks dalam dokumen dan menerapkan label dikenal sebagai anotasi.

1. Kembali ke tab Pelajari, lalu pilih dokumen untuk membuka konsol Pengelolaan label.

2. Di drop-down Document type, pilih label yang sesuai untuk dokumen.

3. Jika Anda menggunakan dokumen contoh yang disediakan, pilih computer_vision.

   Dokumen berlabel akan terlihat seperti ini setelah selesai:

4. Pilih Tandai sebagai Dilabeli setelah Anda selesai menganotasi dokumen.

   Di tab Latih, panel sebelah kiri menunjukkan bahwa 1 dokumen telah diberi label.

Menetapkan dokumen yang dianotasi ke set pelatihan

Setelah memberi label pada contoh dokumen ini, Anda dapat menetapkannya ke set pelatihan.

1. Di tab Pelatihan, pilih kotak centang Select All.

2. Dari daftar Tetapkan ke Set, pilih Pelatihan.

Di panel kiri, Anda dapat menemukan bahwa 1 dokumen telah ditetapkan ke set pelatihan.

Mengimpor data pra-label ke set pelatihan dan pengujian

Dalam panduan ini, Anda akan diberi data yang telah diberi label.

Jika mengerjakan project sendiri, Anda harus menentukan cara memberi label pada data. Lihat Opsi pemberian label. Prosesor kustom Document AI memerlukan minimal 10 dokumen dalam set pelatihan dan pengujian, bersama dengan 10 instance dari setiap label di setiap set. Sebaiknya Anda memiliki minimal 50 dokumen di setiap set, dengan 50 instance dari setiap label untuk mendapatkan performa terbaik. Secara umum, makin banyak data pelatihan, makin tinggi akurasinya.

1. Pilih Impor dokumen.

2. Masukkan jalur berikut di Source path. Bucket ini berisi dokumen yang telah diberi label sebelumnya dalam format JSON Dokumen.

   cloud-samples-data/documentai/Custom/Patents/JSON/Classification-InventionType
   

3. Dari daftar Pembagian data, pilih Pembagian otomatis. Tindakan ini akan otomatis membagi dokumen menjadi 80% di set pelatihan, dan 20% di set pengujian. Abaikan bagian Terapkan label.

4. Pilih Impor Proses impor mungkin memerlukan waktu beberapa menit.

Setelah impor selesai, Anda akan menemukan dokumen di tab Train.

Opsional: Melabeli dokumen secara massal saat mengimpor

Setelah skema dikonfigurasi, Anda dapat memberi label pada semua dokumen yang berada di direktori tertentu saat mengimpor untuk menghemat waktu pelabelan.

1. Pilih Impor dokumen.

2. Masukkan jalur berikut di Source path. Bucket ini berisi dokumen tanpa label dalam format PDF.

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-BatchLabel
   

3. Dari daftar Pembagian data, pilih Pembagian otomatis. Tindakan ini akan otomatis membagi dokumen menjadi 80% di set pelatihan, dan 20% di set pengujian.

4. Di bagian Terapkan label, pilih Pilih label.

5. Untuk dokumen contoh ini, pilih other.

6. Pilih Import dan tunggu prosesnya selesai. Anda dapat meninggalkan halaman ini dan kembali lagi nanti. Setelah selesai, Anda akan menemukan dokumen di tab Train dengan label yang diterapkan.

Melatih pemroses

Setelah mengimpor data pelatihan dan pengujian, Anda dapat melatih pemroses. Karena pelatihan mungkin memerlukan waktu beberapa jam, pastikan Anda telah menyiapkan pemroses dengan data dan label yang sesuai sebelum memulai pelatihan.

1. Pilih Train New Version.

2. Di kolom Nama versi, masukkan nama untuk versi prosesor ini, seperti my-cdc-version-1.

3. (Opsional) Pilih View Label Stats untuk menemukan informasi tentang label dokumen. Hal ini dapat membantu menentukan cakupan Anda. Pilih Tutup untuk kembali ke penyiapan pelatihan.

4. Pilih Mulai pelatihan Anda dapat memeriksa statusnya di panel sebelah kanan.

Men-deploy versi pemroses

1. Setelah pelatihan selesai, buka tab Kelola Versi. Anda dapat melihat detail tentang versi yang baru saja dilatih.

2. Pilih tiga titik vertikal di sebelah kanan versi yang ingin Anda deploy, lalu pilih Deploy versi.

3. Pilih Deploy dari jendela pop-up.

   Deployment memerlukan waktu beberapa menit hingga selesai.

Mengevaluasi dan menguji pemroses

1. Setelah deployment selesai, buka tab Evaluate & Test.

   Di halaman ini, Anda dapat melihat metrik evaluasi termasuk skor F1, Presisi, dan Perolehan untuk dokumen lengkap, serta masing-masing label. Untuk informasi selengkapnya tentang evaluasi dan statistik, lihat Mengevaluasi prosesor.

2. Download dokumen yang belum pernah digunakan dalam pelatihan atau pengujian sebelumnya sehingga Anda dapat menggunakannya untuk mengevaluasi versi prosesor. Jika menggunakan data Anda sendiri, Anda akan menggunakan dokumen yang disediakan untuk tujuan ini.

   Download PDF

3. Pilih Upload Test Document , lalu pilih dokumen yang baru saja Anda download.

   Halaman Custom Document Classifier analysis akan terbuka. Output menunjukkan seberapa baik dokumen diklasifikasikan.

   Anda juga dapat menjalankan ulang evaluasi terhadap set pengujian atau versi prosesor yang berbeda.

Opsional: Otomatis melabeli dokumen yang baru diimpor

Setelah menerapkan versi prosesor terlatih, Anda dapat menggunakan Pelabelan otomatis untuk menghemat waktu pelabelan saat mengimpor dokumen baru.

1. Di halaman Train, Import documents.

2. Salin dan tempel jalur Cloud Storage berikut. Direktori ini berisi 5 PDF Paten tanpa label. Dari daftar dropdown Data split, pilih Training.

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-AutoLabel
   

3. Di bagian Terapkan label, pilih Pemberian label otomatis.

4. Pilih versi prosesor yang ada untuk melabeli dokumen.

   • Contoh: 2af620b2fd4d1fcf

5. Pilih Import dan tunggu prosesnya selesai. Anda dapat meninggalkan halaman ini dan kembali lagi nanti. Setelah selesai, dokumen akan muncul di bagian Auto-labeled di halaman Train.

6. Anda tidak dapat menggunakan dokumen berlabel otomatis untuk pelatihan atau pengujian tanpa menandainya sebagai berlabel. Buka bagian Auto-labeled untuk melihat dokumen berlabel otomatis.

7. Pilih dokumen pertama untuk masuk ke konsol pelabelan.

8. Verifikasi label untuk memastikan label sudah benar. Sesuaikan jika salah.

9. Pilih Tandai sebagai Dilabeli setelah selesai.

10. Ulangi verifikasi label untuk setiap dokumen yang diberi label otomatis, lalu kembali ke halaman Train untuk menggunakan data tersebut untuk pelatihan.

Menggunakan prosesor

Anda telah berhasil membuat dan melatih pemroses Pengklasifikasi Dokumen Kustom.

Anda dapat mengelola versi pemroses yang dilatih secara kustom seperti versi pemroses lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengelola versi pemroses.

Anda dapat Mengirim permintaan pemrosesan ke pemroses kustom, dan respons dapat ditangani sama seperti pemroses pengklasifikasi lainnya.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Untuk menghindari tagihan Google Cloud yang tidak perlu, gunakan konsol Google Cloud untuk menghapus prosesor dan project jika Anda tidak membutuhkannya.

Jika Anda membuat project baru untuk mempelajari Document AI dan Anda tidak lagi memerlukan project tersebut, hapus project tersebut.

Jika Anda menggunakan project Google Cloud yang sudah ada, hapus resource yang dibuat untuk menghindari tagihan pada akun Anda:

1. Di menu navigasi konsol Google Cloud, pilih Document AI, lalu My Processors.

2. Pilih Tindakan lainnya di baris yang sama dengan prosesor yang ingin Anda hapus.

3. Pilih Hapus prosesor, masukkan nama prosesor, lalu pilih Hapus lagi untuk mengonfirmasi.

Langkah selanjutnya

• Untuk mengetahui detail selengkapnya, lihat Panduan.
• Tinjau daftar pemroses.
• Pisahkan dokumen menjadi bagian yang dapat dibaca dengan Layout Parser.
• Gunakan Enterprise Document OCR untuk mendeteksi dan mengekstrak teks.