Divisor personalizado

Divisor personalizado

El divisor personalizado se diseñó para dividir documentos compuestos (documentos compuestos por varias clases) en varios documentos de una sola clase con la identificación de cada documento lógico. Por ejemplo, un paquete hipotecario contiene varias clases dentro de él, como la aplicación, la verificación de ingresos y el ID con foto. Los procesadores divisores personalizados se entrenan desde cero con tus propios documentos y clases personalizadas para poder usarse.

Nota: Un documento lógico es un tipo único de documento dentro de un solo PDF empaquetado que puede contener facturas, gastos, IDs o contratos.

Descripción y uso del divisor

Creas divisores personalizados que se adaptan específicamente a tus documentos y que se entrenan y evalúan con tus datos. Este procesador identifica las clases de documentos de un conjunto de clases definido por el usuario. Luego, puedes usar este procesador entrenado en documentos de producción. Por lo general, usarías un divisor personalizado en archivos compuestos por diferentes tipos de documentos lógicos y, luego, usarías la identificación de clase de cada uno para pasar los documentos a un procesador de extracción adecuado para extraer las entidades.

Nota: El divisor personalizado solo predice las páginas que conforman varios documentos dentro del archivo compuesto y la clase de cada documento identificado. En el Document AI Toolbox SDK, hay código para separar físicamente cada documento lógico identificado.

Debido a que los modelos del AA no son perfectos y tienen una cierta tasa de error, y a que los errores en la división suelen ser muy problemáticos (una división incorrecta hace mal dos documentos y causa errores de extracción), se recomienda tener siempre un paso de revisión manual después de la predicción de división, pero antes de la división del archivo real. Según los requisitos empresariales, existen alternativas a la revisión manual en todo momento:

• Usa las puntuaciones de confianza en la predicción para decidir si omites la revisión manual (si es lo suficientemente alta). Ese umbral de puntuación de confianza debe determinarse en función de los datos históricos sobre las tasas de error en determinadas puntuaciones de confianza. Esta debería ser una decisión empresarial basada en la tolerancia del proceso empresarial para errores y el requisito de evitar la revisión manual.
• En algunos casos de uso, los documentos divididos se pueden enrutar directamente al extractor apropiado según la clase predicha. Luego, si la extracción está incompleta o tiene puntuaciones de confianza bajas, aísla los documentos divididos y activa el documento compuesto original y la decisión de división para que se revisen. Esto tiene requisitos de flujo de trabajo bastante complejos.

Crea un divisor personalizado en la consola de Google Cloud

En esta guía de inicio rápido, se describe cómo usar Document AI para crear y entrenar un divisor personalizado que divide y clasifique los documentos de adquisición. La mayor parte de la preparación del documento está lista, de modo que puedas enfocarte en crear un divisor personalizado.

El siguiente es un flujo de trabajo típico para crear y usar un divisor personalizado:

1. Crear un divisor personalizado en Document AI.
2. Crear un conjunto de datos con un bucket de Cloud Storage vacío.
3. Definir y crear el esquema del procesador (clases).
4. Importar documentos.
5. Asignar documentos a los conjuntos de entrenamiento y pruebas.
6. Anotar los documentos de forma manual en Document AI Workbench o con tareas de etiquetado.
7. Entrenar el procesador.
8. Evaluar el procesador.
9. Implementar el procesador.
10. Probar el procesador.
11. Usar el procesador en tus documentos.

Si tienes tus documentos en carpetas separadas por clase, puedes omitir el paso 6 si especificas la clase en el momento de la importación.

---

Para seguir la guía paso a paso en esta tarea directamente en la consola de Google Cloud, haz clic en Guiarme:

GUIARME

---

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

Crea un procesador

1. En la consola de Google Cloud, en la sección Document AI, ve a la página Workbench.

   Workbench

2. En Custom Document Splitter, selecciona Crear procesador.

3. En el menú Crear procesador, ingresa un nombre para tu procesador, como my-custom-document-splitter.

   

4. Selecciona la región más cercana a ti.

5. Selecciona Crear. Aparecerá la pestaña Processor Details.

Configura el conjunto de datos

Para entrenar este nuevo procesador, debes crear un conjunto de datos con datos de entrenamiento y de prueba a fin de ayudar al procesador a identificar los documentos que deseas dividir y clasificar.

Este conjunto de datos requiere una nueva ubicación para él. Puede ser un bucket de Cloud Storage vacío o una carpeta, o puedes permitir una ubicación administrada por Google (interna).

• Si deseas usar el almacenamiento administrado por Google, selecciona esa opción.
• Si deseas usar tu propio almacenamiento para usar claves de encriptación administradas por el cliente (CMEK), selecciona Especificaré mi propia ubicación de almacenamiento y sigue el procedimiento posterior.

Nota: Las carpetas de los conjuntos de datos se deben tratar como de solo lectura. No cambies ni agregues nada.

Crea un bucket de Cloud Storage para el conjunto de datos

Nota: No uses el mismo bucket en el que se almacenan tus documentos.

1. Ve a la pestaña Entrenar del procesador.

2. Selecciona Establecer la ubicación del conjunto de datos. Se te pedirá que selecciones o crees un bucket o una carpeta de Cloud Storage vacíos.

   

3. Selecciona Explorar para abrir la opción Seleccionar carpeta.

4. Haz clic en el ícono Crear un bucket nuevo y sigue las instrucciones para crear un bucket nuevo. Después de crear el bucket, aparecerá la página Seleccionar carpeta. Si deseas obtener más información para crear un bucket de Cloud Storage, consulta Buckets de Cloud Storage.

   Nota: Un bucket es la entidad de almacenamiento de nivel superior, en la que puedes anidar carpetas. En lugar de crear y seleccionar un bucket, también puedes crear y seleccionar una carpeta vacía dentro de un bucket existente. Para obtener más información, consulta Carpetas simuladas de Cloud Storage.

5. En la página Seleccionar carpeta de tu bucket, elige el botón Seleccionar en la parte inferior del diálogo.

   

Asegúrate de que la ruta de destino se propague con el nombre del bucket que seleccionaste. Seleccione Crear conjunto de datos. La creación del conjunto de datos puede tardar varios minutos.

Define el esquema del procesador

Puedes crear el esquema del procesador antes o después de importar documentos a tu conjunto de datos. El esquema proporciona etiquetas que utilizas para anotar documentos.

1. En la pestaña Entrenar, selecciona Editar esquema en la parte inferior izquierda. Se abrirá la página Administrar etiquetas.

2. Selecciona Crear etiqueta.

3. Ingresa el nombre de la etiqueta. Selecciona Crear. Consulta Define el procesador del esquema para obtener instrucciones detalladas para crear y editar un esquema.

   Nota: Una vez que se entrena el procesador, no se pueden borrar las etiquetas. En cambio, puedes inhabilitar las etiquetas que no quieras usar.

4. Crea cada una de las siguientes etiquetas para el esquema del procesador.

   • bank_statement
   • form_1040
   • form_w2
   • form_w9
   • paystub

5. Selecciona Guardar cuando las etiquetas estén completas.

   

Importa un documento sin etiquetas a un conjunto de datos

El siguiente paso es comenzar a importar documentos sin etiquetar a tu conjunto de datos y etiquetarlos. Una alternativa recomendada es importar documentos organizados en carpetas por clase, si están disponibles.

Si estás trabajando en tu propio proyecto, tú decidirás cómo etiquetar tus datos. Consulta Opciones de etiquetado.

Los procesadores personalizados de Document AI requieren un mínimo de 10 documentos en los conjuntos de entrenamiento y de prueba, junto con 10 instancias de cada etiqueta en cada conjunto. Para obtener el mejor rendimiento, recomendamos al menos 50 documentos en cada conjunto, con 50 instancias de cada etiqueta. En general, una mayor cantidad de datos de entrenamiento produce una mayor exactitud.

1. En la pestaña Entrenar, selecciona Importar documentos.

   

2. Para este ejemplo, ingresa esta ruta de acceso en Ruta de origen. Contiene un documento PDF.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-Unlabeled
   

3. Establece la Etiqueta del documento como Ninguna.

4. Establece el menú desplegable División del conjunto de datos en Sin asignar.

   El documento de esta carpeta no recibe una etiqueta ni se asigna al conjunto de prueba o entrenamiento de forma predeterminada.

5. Selecciona Importar. Document AI lee los documentos del bucket en el conjunto de datos. No modifica el bucket de importación ni lee desde el bucket una vez que se completa la importación.

Cuando importas documentos, puedes asignarlos de forma opcional al conjunto de Entrenamiento o Prueba cuando se importan, o esperar para asignarlos más tarde.

Si deseas borrar uno o más documentos que importaste, selecciónalos en la pestaña Entrenar y selecciona Borrar.

Si deseas obtener más información para preparar tus datos para importar, consulta la Guía de preparación de datos.

Opcional: Etiquetas por lotes de documentos en la importación

Puedes etiquetar todos los documentos que se encuentran en un directorio en particular en la importación para ahorrar tiempo en el etiquetado. Si tienes los documentos de entrenamiento organizados por clase en carpetas, puedes usar el campo Etiqueta del documento para especificar la clase de esos documentos y evitar el etiquetado manual de cada documento.

En la imagen, Bank_statements y Invoice están disponibles con etiquetas definidas (clases de documentos) que puedes seleccionar. También puedes usar CREATE LABEL y definir una clase nueva.

1. Haz clic en Importar documentos.

2. Ingresa la siguiente ruta en Ruta de acceso. Este bucket contiene documentos sin etiquetar en formato PDF.

   cloud-samples-data/documentai/Custom/Patents/PDF-CDC-BatchLabel

3. En la lista División de datos, selecciona División automática. Esto divide automáticamente los documentos para tener un 80% en el conjunto de entrenamiento y un 20% en el conjunto de prueba.

4. En la sección Aplicar etiquetas, selecciona Elegir etiqueta.

5. Para obtener estos documentos de muestra, selecciona otro.

6. Haz clic en Importar (Import) y espera a que los documentos se importen. Puedes salir de esta página y volver más tarde.

Etiqueta un documento

El proceso de aplicación de etiquetas a un documento se conoce como anotación.

1. Regresa a la pestaña Entrenar y selecciona un documento para abrir la consola de Administración de etiquetas.

2. Este documento contiene varios grupos de páginas que se deben identificar y etiquetar. Primero, debes identificar los puntos de división. Mueve el mouse entre las páginas 1 y 2 en la vista de imagen y selecciona en el símbolo +.

   

3. Crea puntos de división antes de los siguientes números de página: 2, 3, 4 y 5.

   La consola debería verse de la siguiente manera cuando termines.

   Nota: Puedes realizar el paso 4 (configurar el tipo de documento) en cuanto se divida el documento lógico.

4. En el menú desplegable Tipo de documento, selecciona la etiqueta adecuada para cada grupo de páginas.

   Página(s)	Tipo de documento
   1	paystub
   2	form_w9
   3	bank_statement
   4	form_w2
   5 y 6	form_1040

   El documento etiquetado debería verse de la siguiente manera cuando se complete:

5. Selecciona Marcar como etiquetado cuando termines de anotar el documento.

   En la pestaña Entrenar, el panel izquierdo muestra que se etiquetó 1 documento.

Asigna el documento anotado en el conjunto de entrenamiento

Ahora que etiquetaste este documento de ejemplo, puedes asignarlo al conjunto de entrenamiento.

1. En la pestaña Entrenar, selecciona la casilla de verificación Seleccionar todo.

2. En la lista Asignar al conjunto, selecciona Entrenamiento.

En el panel izquierdo, puedes ver que se asignó 1 documento al conjunto de entrenamiento.

Importa datos con el etiquetado por lotes

A continuación, importarás archivos PDF sin etiquetar que se clasifican en diferentes carpetas de Cloud Storage según su tipo. El etiquetado por lotes ayuda a ahorrar tiempo, ya que asigna una etiqueta en el momento de la importación según la ruta.

1. En la pestaña Entrenar, selecciona Importar documentos.

2. Ingresa la siguiente ruta en Ruta de acceso del origen. Esta carpeta contiene archivos PDF de los estados de cuenta.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/bank-statement
   

3. Establece la Etiqueta del documento como bank_statement.

4. Configura el menú División del conjunto de datos como División automática. Esto divide automáticamente los documentos para tener un 80% en el conjunto de entrenamiento y un 20% en el conjunto de prueba.

5. Selecciona Agregar otra carpeta para agregar más carpetas.

6. Repite los pasos anteriores con las siguientes rutas de acceso y etiquetas de documentos:

   Ruta de acceso del bucket	Etiqueta del documento
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/1040	form_1040
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/w2	form_w2
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/w9	form_w9
   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-BatchLabel/paystub	paystub

   La consola debería verse de la siguiente manera cuando se complete:

7. Selecciona Importar. La importación tarda varios minutos.

Cuando finalice la importación, busca los documentos en la pestaña Entrenar.

Importa datos etiquetados previamente

En esta guía, se proporcionan datos etiquetados previamente en formato Document como archivos JSON.

Este es el mismo formato que genera Document AI cuando procesa un documento, lo etiqueta con interacción humana o exporta un conjunto de datos.

1. En la pestaña Entrenar, selecciona Importar documentos.

2. Ingresa la siguiente ruta en Ruta de acceso del origen.

   cloud-samples-data/documentai/Custom/Lending-Splitter/JSON-Labeled
   

3. Establece la Etiqueta del documento como Ninguna.

4. Establece el menú desplegable División del conjunto de datos en División automática.

5. Selecciona Importar.

Cuando finalice la importación, busca los documentos en la pestaña Entrenar.

Entrena el procesador

Ahora que importaste los datos de entrenamiento y prueba, puedes entrenar el procesador. Dado que el entrenamiento puede tardar varias horas, asegúrese de haber configurado el procesador con los datos y las etiquetas correspondientes antes de comenzar el entrenamiento.

1. Selecciona Entrenar una versión nueva.

2. En el campo Nombre de la versión, ingresa un nombre para esta versión del procesador, como my-cds-version-1.

3. (Opcional) Selecciona Ver estadísticas de etiquetas para buscar información sobre las etiquetas de documentos. Esto puede ayudarte a determinar tu cobertura. Selecciona Cerrar para volver a la configuración de entrenamiento.

   

4. Selecciona Comenzar entrenamiento. Puedes verificar el estado en el panel derecho.

Implementa la versión del procesador

1. Una vez finalizado el entrenamiento, navega a la pestaña Administrar versiones. Puedes ver detalles sobre la versión que acabas de entrenar.

2. Selecciona los tres puntos verticales a la derecha de la versión que deseas implementar y selecciona Implementar versión.

3. Selecciona Implementar en la ventana emergente.

   La implementación tarda unos minutos en completarse.

Evalúa y prueba el procesador

1. Una vez finalizada la implementación, navega a la pestaña Evaluar y probar.

   En esta página, puedes ver las métricas de evaluación, incluidas la puntuación F1, la precisión y recuperación del documento completo, y las etiquetas individuales. Para obtener más información sobre la evaluación y las estadísticas, consulta Evalúa el procesador.

2. Descarga un documento que no haya participado en pruebas ni entrenamientos anteriores para que puedas usarlo para evaluar la versión del procesador. Si usas tus propios datos, debes usar un documento que se reserve para ello.

   Descargar PDF

3. Selecciona Subir documento de prueba y selecciona el documento que acabas de descargar.

   Se abrirá la página Análisis de divisor personalizado. El resultado de la pantalla mostrará qué tan bien se dividió y clasificó el documento.

   La consola debería verse de la siguiente manera cuando se complete:

   También puedes volver a ejecutar la evaluación en un conjunto de prueba diferente o en una versión del procesador.

Importa datos con el etiquetado automático (opcional)

Después de implementar una versión de procesador entrenado, puedes usar el etiquetado automático para ahorrar tiempo en el etiquetado cuando importas documentos nuevos.

1. En la pestaña Entrenar, selecciona Importar documentos.

2. Ingresa la siguiente ruta en Ruta de acceso del origen. Esta carpeta contiene archivos PDF sin etiquetas de varios tipos de documentos.

   cloud-samples-data/documentai/Custom/Lending-Splitter/PDF-CDS-AutoLabel
   

3. Establece la Etiqueta del documento como Etiquetado automático.

4. Establece el menú desplegable División del conjunto de datos en División automática.

5. En la sección Etiquetado automático, configura la versión como la versión que entrenaste antes.

   • Por ejemplo: 2af620b2fd4d1fcf.

6. Selecciona Importar y espera a que los documentos se importen.

7. No puedes usar documentos etiquetados automáticamente para entrenamiento o pruebas sin marcarlos como etiquetados. Ve a la sección Etiquetado automático para ver los documentos etiquetados automáticamente.

8. Selecciona el primer documento para ingresar a la consola de etiquetado.

9. Verifica que la etiqueta sea correcta y, de lo contrario, ajústala.

10. Cuando termines, selecciona Marcar como etiquetado.

11. Repite la verificación de etiquetas en cada documento etiquetado automáticamente.

12. Vuelve a la página Entrenar y selecciona Entrenar una versión nueva para usar los datos en el entrenamiento.

Usar el procesador

Creaste y entrenaste correctamente un procesador de divisores personalizado.

Puedes administrar tus versiones de procesador con entrenamiento personalizado como cualquier otra versión de procesador. Para obtener más información, consulta Administra versiones de procesadores.

Una vez implementado, puedes enviar una solicitud de procesamiento a tu procesador personalizado y la respuesta se puede manejar de la misma manera que otros procesadores divisores.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Para evitar cargos innecesarios de Google Cloud , usa la consola de Google Cloud para borrar el procesador y el proyecto si no los necesitas.

Si creaste un proyecto nuevo para aprender sobre Document AI y ya no lo necesitas, bórralo.

Si usaste un proyecto existente de Google Cloud , borra los recursos que creaste para evitar que se generen cargos en tu cuenta:

1. En el menú de navegación de la consola de Google Cloud, selecciona Document AI y, luego, Mis procesadores.

2. Selecciona Más accionesen la misma fila del procesador que quieres borrar.

3. Selecciona Borrar procesador, escribe el nombre del procesador y, luego, vuelve a seleccionar Borrar para confirmar.

¿Qué sigue?