Mecanismos de extractores personalizados

Mecanismos de extractores personalizados

Puedes crear extractores personalizados que se adapten específicamente a tus documentos y que se entrenen y evalúen con tus datos. Este procesador identifica y extrae entidades de tus documentos. Después, puedes usar este procesador entrenado en documentos adicionales.

Antes de empezar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Document AI, Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Crear un procesador

1. En la Google Cloud consola, en la sección Document AI, ve a la página Workbench.

   Espacio de trabajo

2. En Extractor personalizado, selecciona Crear procesador.

   

3. En el menú Crear procesador, escribe el nombre del procesador, como my-custom-document-extractor.

   

4. Selecciona la región más cercana.

5. Opcional: Abre Opciones avanzadas.

   • Puedes dejar que Google cree un segmento de Cloud Storage por ti o crear uno tú mismo. Para este tutorial, selecciona Almacenamiento gestionado por Google.

   • También puedes usar claves de encriptado gestionadas por Google o gestionadas por el cliente (CMEK). En este tutorial, seleccione Google-managed encryption key.

6. Selecciona Crear para crear el procesador.

Definir campos de procesador

Ahora está en la página Resumen del procesador del procesador que acaba de crear.



Puede especificar los campos que quiere que extraiga el procesador y empezar a etiquetar documentos.

1. Selecciona la pestaña Empezar. Aparecerá el menú Campos.

2. Seleccione Crear campo.

3. Escribe el nombre del campo. Selecciona el Tipo de datos y la Ocurrencia. Asigna a la etiqueta una descripción descriptiva y distinta. La descripción de la propiedad te permite proporcionar contexto, estadísticas y conocimientos previos adicionales para cada entidad con el fin de mejorar la precisión y el rendimiento de la extracción.

Nota: Algunos buenos ejemplos de descripciones de propiedades son la información de ubicación y los patrones de texto de los valores de la propiedad, que ayudan a aclarar posibles fuentes de confusión en el documento y guían al modelo con reglas que aseguran extracciones más fiables y coherentes, independientemente de la estructura específica del documento o de las variaciones del contenido.



1. Selecciona Crear. Consulta Definir el esquema del procesador para obtener instrucciones detalladas sobre cómo crear y editar un esquema.

Nota: Los modelos de IA generativa (fundacionales y ajustados) usan el nombre y la descripción del campo para formar la petición subyacente, por lo que los nombres de los campos son semánticamente cruciales. Consulta los campos de nombre para la extracción con IA generativa.

1. Crea cada una de las siguientes etiquetas para el esquema del procesador.

   Nombre	Tipo de datos	Occurrence
   control_number	Número	Múltiple opcional
   employees_social_security_number	Número	Obligatorio (múltiple)
   employer_identification_number	Número	Obligatorio (múltiple)
   employers_name_address_and_zip_code	Dirección	Obligatorio (múltiple)
   federal_income_tax_withheld	Dinero	Obligatorio (múltiple)
   social_security_tax_withheld	Dinero	Obligatorio (múltiple)
   social_security_wages	Dinero	Obligatorio (múltiple)
   wages_tips_other_compensation	Dinero	Obligatorio (múltiple)

   También puede crear y usar otros tipos de etiquetas en su esquema de procesador, como casillas de verificación y entidades tabulares. Por ejemplo, los formularios W-2 contienen casillas de verificación de empleado estatutario, plan de jubilación y prestación por enfermedad de terceros que también puedes añadir al esquema.

   

Subir un documento de muestra

Prueba con un documento de muestra.

1. Selecciona Subir documento de muestra.

2. En la barra lateral, selecciona Importar documentos de Cloud Storage.

3. En este ejemplo, introduce el nombre del segmento en Ruta de origen. Este enlace lleva directamente a un documento.

   cloud-samples-data/documentai/Custom/W2/PDF/W2_XL_input_clean_2950.pdf
   

4. Selecciona Importar.

Se te redirigirá a la consola de etiquetado.

Etiquetar un documento

El proceso de seleccionar texto en un documento y aplicar etiquetas se conoce como anotación o etiquetado.

1. Cuando estés en la consola de etiquetado, verás que muchas de las etiquetas ya están rellenadas. Esto se debe a que el tipo de modelo de extractor personalizado predeterminado es un modelo fundacional, que puede realizar predicciones sin ejemplos, es decir, sin entrenamiento.

   Nota: Es posible que los resultados sean ligeramente diferentes a los de la imagen de ejemplo.

   

2. Para usar las etiquetas sugeridas, coloca el puntero sobre cada etiqueta del panel lateral y selecciona la marca de verificación para confirmar que la etiqueta es correcta. No edites el texto, aunque el OCR lo lea de forma incorrecta.

3. En este ejemplo, los valores de la parte inferior del documento no se han identificado automáticamente, por lo que debe etiquetarlos manualmente.

4. Usa los iconos de la barra de herramientas situada encima del documento para añadir etiquetas. Usa la herramienta recuadro de selección de forma predeterminada o la herramienta Seleccionar texto para valores de varias líneas, selecciona el contenido y aplica la etiqueta.

   Nota: La herramienta Seleccionar texto no funciona con todos los valores de texto, así que usa el cuadro delimitador si es necesario. También puedes seleccionar campos que no sean de texto, como casillas, con la herramienta recuadro de selección.

5. Una vez seleccionado el texto, aparecerá un menú desplegable con todos los campos (entidades) definidos para que elijas uno. En este ejemplo, se selecciona el valor de wages_tips_other_compensation con la herramienta de recuadro y se aplica esa etiqueta.

   

6. Revisa los valores de texto detectados para asegurarte de que reflejan la ubicación correcta del texto de cada campo. El documento W2 etiquetado debería tener este aspecto cuando esté completo:

   

   Nota: Si estamos etiquetando contenido con fines de revisión de producción, debemos corregir el OCR incorrecto.

7. Si es necesario, puede seleccionar Crear campo para añadir un campo al esquema desde esta página.

8. Selecciona Marcar como etiquetado cuando hayas terminado de anotar el documento. Se te redirigirá a la pestaña Empezar.

Crear una versión de procesador con un modelo fundacional

Después de etiquetar un documento, puedes crear una versión de procesador con el modelo base preentrenado para extraer entidades.

1. Selecciona la pestaña Crear.

   

2. En Llamar al modelo base, selecciona Crear nueva versión.

3. Escriba un nombre para la versión del procesador, como w2-foundation-model.

4. Selecciona Crear versión. Tarda unos minutos en crearse.

   Nota: Una vez que hayas creado una versión de procesador, no podrás cambiar ni eliminar los campos que hayas creado. Puedes inhabilitarlos en la página de campos si ya no los necesitas.

5. Opcional: selecciona la pestaña Implementar y usar. En esta página, puede ver las versiones del procesador disponibles y el estado de implementación de la nueva versión.

Usar la IA generativa para etiquetar documentos automáticamente

El modelo base puede extraer campos de forma precisa para varios tipos de documentos, pero también puedes proporcionar datos de entrenamiento adicionales para mejorar la precisión del modelo en estructuras de documentos específicas.

El extractor personalizado usa los nombres de las etiquetas que definas y las anotaciones anteriores para que sea más rápido y fácil etiquetar documentos a gran escala con el etiquetado automático.

1. Ve a la página Compilación.

2. Selecciona Importar documentos.

3. En la barra lateral, selecciona Importar documentos de Google Cloud Storage.

4. Escribe el nombre del segmento que contiene tus documentos.

5. En la lista División de datos, seleccione División automática. De esta forma, los documentos se dividen automáticamente en un 80% para el conjunto de entrenamiento y un 20% para el conjunto de prueba.

6. En la sección Etiquetado automático, selecciona la casilla Importar con etiquetado automático.

7. Seleccione la versión del procesador del modelo fundacional para etiquetar los documentos.

8. Selecciona Importar y espera a que se importen los documentos. Puedes salir de esta página y volver más tarde.

9. Debes verificar los documentos etiquetados automáticamente antes de poder usarlos para entrenar o probar el modelo. Selecciona Empezar a etiquetar para ver los documentos etiquetados automáticamente.

10. Para usar las etiquetas sugeridas, coloca el puntero sobre cada anotación y selecciona la marca de verificación para confirmar que la etiqueta es correcta. Por motivos de formación, no edites los valores si no coinciden con el texto del documento. Solo cambia el cuadro delimitador si se ha seleccionado el texto incorrecto.

11. Selecciona Marcar como etiquetado cuando hayas terminado de anotar el documento.

12. Repite el proceso con cada documento etiquetado automáticamente.

Importar documentos de entrenamiento preetiquetados

1. Ve a la página Compilación.

2. Selecciona Importar documentos.

3. En la barra lateral, selecciona Importar documentos de Cloud Storage.

4. Introduce la ruta en Ruta de origen que contiene tus documentos. Este segmento debe contener documentos preetiquetados en formato JSON de documento.

5. En la lista División de datos, seleccione División automática. De esta forma, los documentos se dividen automáticamente en un 80% para el conjunto de entrenamiento y un 20% para el conjunto de prueba. Deje la opción Importar con etiquetado automático sin marcar.

6. Selecciona Importar. La importación tarda varios minutos.

Opcional: Ver y gestionar el conjunto de datos

1. En la página Crear, puedes acceder a la consola Gestionar conjunto de datos para ver y editar todos los documentos y etiquetas del conjunto de datos.

Entrenar un procesador basado en un modelo personalizado

La preparación puede tardar varias horas. Asegúrate de haber configurado el procesador con los datos y las etiquetas adecuados antes de empezar el entrenamiento.

1. Para obtener información sobre los requisitos del conjunto de datos, en Entrenar un modelo personalizado, selecciona Crear nueva versión o Ver todos los requisitos. No es un modelo de IA generativa. Se necesitan al menos 10 instancias de entrenamiento y 10 instancias de prueba de cada campo para un procesador basado en un modelo personalizado.

2. En el campo Nombre de la versión, introduce un nombre para esta versión del procesador, como w2-custom-model.

3. Opcional: selecciona Ver estadísticas de etiquetas para consultar información sobre las etiquetas del documento. Esto puede ayudarte a determinar tu cobertura. Selecciona Cerrar para volver a la configuración del entrenamiento.

4. En Método de entrenamiento del modelo, selecciona Basado en modelo.

5. Selecciona Iniciar formación. La preparación tarda unas horas. Puedes cerrar esta página y volver más tarde.

6. Opcional: selecciona la pestaña Implementar y usar. En esta página, puede ver las versiones del procesador disponibles y el estado del entrenamiento de la nueva versión.

Desplegar la versión del procesador

1. Cuando se haya completado el entrenamiento, selecciona la pestaña Desplegar y usar.

2. Marca la casilla situada a la izquierda de la versión que quieras implementar y selecciona Implementar.

3. Selecciona Implementar en la ventana de diálogo. El despliegue tarda unos minutos.

4. Cuando se implementa la versión, puedes definirla como la versión predeterminada o proporcionar el ID de la versión al procesar documentos con la API.

Evaluar y probar el procesador

1. Selecciona la pestaña Evaluar para probar la versión del procesador. En esta página, puede ver métricas de evaluación, como la puntuación F1, la precisión y la recuperación del documento completo y de las etiquetas individuales. Para obtener más información sobre la evaluación y las estadísticas, consulta evaluate processor.

2. Selecciona el selector Versión y elige la versión que usa el modelo base.

3. Descarga un documento que no se haya usado en entrenamientos ni pruebas anteriores para poder usarlo y evaluar la versión del procesador. Si usas tus propios datos, debes usar un documento específico para ello.

   Descargar PDF

4. Selecciona Subir documento de prueba y elige el documento que acabas de descargar. Se abrirá la página Análisis del extractor de documentos personalizado. El resultado de la pantalla muestra lo bien que se ha extraído el documento.

5. Vuelve a probar el documento con la versión que incluye un modelo entrenado personalizado.

Usar el procesador

Ha creado y entrenado correctamente un procesador extractor personalizado.

Puedes gestionar tus versiones de procesador entrenadas de forma personalizada igual que cualquier otra versión de procesador. Para obtener más información, consulta Gestionar versiones del procesador.

Para usar la API de Document AI, sigue estos pasos:

• Sigue los ejemplos de código que se indican en enviar una solicitud de procesamiento para usar el procesamiento online o por lotes.
  • Consulta Cuotas y límites para ver el número de páginas admitidas en el procesamiento online y por lotes.
• Sigue el ejemplo de código del extractor personalizado en Gestionar la respuesta del procesamiento para obtener las entidades extraídas del procesador.

Limpieza

Para evitar que se apliquen cargos en tu cuenta de Google Cloud por los recursos utilizados en esta página, sigue estos pasos.

Para evitar cargos innecesarios de Google Cloud , usa la Google Cloud console para eliminar tu procesador y tu proyecto si no los necesitas.

Si has creado un proyecto para aprender a usar Document AI y ya no lo necesitas, elimínalo.

Si has usado un proyecto, elimina los recursos que hayas creado para evitar que se apliquen cargos en tu cuenta: Google Cloud

1. En el menú de navegación de la consola, selecciona Document AI y, a continuación, Mis procesadores. Google Cloud

2. Selecciona Más acciones en la misma fila que el procesador que quieras eliminar.

3. Selecciona Eliminar procesador, introduce el nombre del procesador y, a continuación, selecciona Eliminar de nuevo para confirmar la acción.

Siguientes pasos

Para obtener más información, consulta las guías.