Mecanismos de extracción personalizados

Mecanismos de extracción personalizados

Puedes crear extractores personalizados que se adaptan específicamente a tus documentos, entrenados y evaluados con tus datos. Este procesador identifica y extrae entidades de tus documentos. Luego, puedes usarlo en documentos adicionales.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Document AI, Cloud Storage APIs.

   Enable the APIs

Crea un procesador

1. En la consola de Google Cloud, en la sección Document AI, ve a la página Workbench.

   Workbench

2. En Extractor personalizado, selecciona Crear procesador.

   

3. En el menú Crear procesador, escribe un nombre para tu procesador, como my-custom-document-extractor.

   

4. Selecciona la región más cercana a ti.

5. Opcional: Abre Opciones avanzadas.

   • Puedes optar por dejar que Google cree un bucket de Cloud Storage por ti o puedes crear el tuyo. En este instructivo, selecciona Almacenamiento administrado por Google.

   • También tienes la opción de usar claves de encriptación administradas por el cliente (CMEK) o administradas por Google. En este instructivo, selecciona la clave de encriptación Google-managed .

6. Selecciona Crear para crear tu procesador.

Define los campos del procesador

Ahora te encuentras en la página Descripción general del procesador del procesador que acabas de crear.

Puedes especificar los campos que quieres que el procesador extraiga y comience a etiquetar documentos.

1. Selecciona la pestaña Comenzar. Aparecerá el menú Campos.

2. Selecciona Crear nuevo campo.

3. Ingresa el nombre en el campo. Selecciona el Tipo de datos y el Caso. Asigna a la etiqueta una Descripción explicativa y distinta. La descripción de la propiedad te permite proporcionar contexto, información y conocimientos previos adicionales para cada entidad para mejorar la precisión y el rendimiento de la extracción.

Nota: Algunos buenos ejemplos de descripciones de propiedades incluyen información de ubicación y patrones de texto de los valores de la propiedad, que ayudan a desambiguar posibles fuentes de confusión en el documento y guían al modelo con reglas que garantizan extracciones más confiables y coherentes, independientemente de la estructura específica del documento o las variaciones de contenido.

1. Selecciona Crear. Consulta Define el procesador del esquema para obtener instrucciones detalladas para crear y editar un esquema.

Nota: Los modelos de IA generativa (de base y ajustados) usan el nombre de campo y la descripción para formar la instrucción subyacente, por lo que los nombres de campo son cruciales desde el punto de vista semántico. Consulta los campos de nombre para la extracción basada en IA generativa.

1. Crea cada una de las siguientes etiquetas para el esquema del procesador.

   Nombre	Tipo de datos	Caso
   control_number	Número	Opcional varias veces
   employees_social_security_number	Número	Obligatoria varias veces
   employer_identification_number	Número	Obligatoria varias veces
   employers_name_address_and_zip_code	Dirección	Obligatoria varias veces
   federal_income_tax_withheld	Dinero	Obligatoria varias veces
   social_security_tax_withheld	Dinero	Obligatoria varias veces
   social_security_wages	Dinero	Obligatoria varias veces
   wages_tips_other_compensation	Dinero	Obligatoria varias veces

   También puedes crear y usar otros tipos de etiquetas en el esquema del procesador, como casillas de verificación y entidades tabulares. Por ejemplo, los formularios W-2 incluyen las casillas de verificación Empleado legal, Plan de jubilación y Pago por enfermedad de terceros, que también podrías agregar el esquema.

   

Sube un documento de muestra

Realiza pruebas con un documento de muestra.

1. Selecciona Subir documento de muestra.

2. En la barra lateral, selecciona Importar documentos desde Cloud Storage.

3. Para este ejemplo, ingresa el nombre de este bucket en Ruta de origen. Esta vincula directamente a un documento.

   cloud-samples-data/documentai/Custom/W2/PDF/W2_XL_input_clean_2950.pdf
   

4. Selecciona Importar.

Se te redireccionará a la consola de etiquetado.

Etiqueta un documento

El proceso de seleccionar texto en un documento y aplicar etiquetas se conoce como anotación o etiquetado.

1. Cuando estés en la consola de etiquetado, verás que muchas de las etiquetas ya se propagaron. Esto se debe a que el tipo de modelo de extractor personalizado predeterminado es un modelo de base, que puede realizar predicciones sin ejemplos, es decir, sin entrenamiento.

   Nota: Es posible que los resultados se vean un poco diferentes a la imagen de muestra.

   

2. Para usar las etiquetas sugeridas, mantén el puntero sobre cada etiqueta en el panel lateral y selecciona la marca de verificación para confirmar que la etiqueta sea correcta. No edites el texto, incluso si el OCR lee el texto de forma incorrecta.

3. En este ejemplo, los valores en la parte inferior del documento no se identificaron automáticamente, por lo que deberás etiquetarlos de forma manual.

4. Usa los íconos de la barra de herramientas que se encuentran sobre el documento para etiquetar. De forma predeterminada, usa la herramienta Cuadro delimitador o la herramienta Seleccionar texto para valores de varias líneas para seleccionar el contenido y aplicarle la etiqueta.

   Nota: La herramienta Seleccionar texto no funciona con todos los valores de texto, por lo que debes usar el cuadro delimitador si corresponde. También puedes seleccionar campos que no sean de texto, como casillas de verificación, con la herramienta Cuadro delimitador.

5. Después de seleccionar el texto, aparecerá un menú desplegable con todos los campos definidos (entidades) para que selecciones uno. En este ejemplo, se seleccionó el valor de wages_tips_other_compensation con la herramienta de cuadro delimitador y se aplicó esa etiqueta.

   

6. Revisa los valores de texto detectados con el objetivo de asegurarte de que reflejen la ubicación correcta del texto para cada campo. El documento W2 etiquetado debería verse de la siguiente manera cuando se complete:

   

   Nota: Si etiquetamos con fines de revisión de producción, se debería editar el OCR incorrecto.

7. Si es necesario, puedes hacer clic en Crear campo nuevo para agregar un campo nuevo al esquema desde esta página.

8. Selecciona Marcar como etiquetado cuando termines de anotar el documento. Se te redireccionará a la pestaña Comenzar.

Compila la versión del procesador con el modelo de base

Después de etiquetar un solo documento, puedes crear una versión del procesador con el modelo de base previamente entrenado para extraer entidades.

1. Selecciona la pestaña Compilar.

   

2. En Modelo de base de llamadas, selecciona Crear versión nueva.

3. Ingresa un nombre para la versión del procesador, como w2-foundation-model.

4. Selecciona Crear versión. La creación tarda unos minutos.

   Nota: Después de crear una versión del procesador, no puedes cambiar ni borrar los campos que creaste. Si ya no los necesitas, puedes inhabilitarlos en la página de campos.

5. Selecciona la pestaña Implementar y uso (opcional). En esta página, puedes ver las versiones de procesadores disponibles y el estado de implementación de la versión nueva.

Usa la IA generativa para etiquetar documentos automáticamente

El modelo de base puede extraer campos con exactitud para una variedad de tipos de documentos, pero también puedes proporcionar datos de entrenamiento adicionales para mejorar la precisión del modelo para estructuras de documentos específicas.

El extractor personalizado usa los nombres de etiquetas que definas y las anotaciones anteriores para que sea más rápido y fácil etiquetar documentos a gran escala con el etiquetado automático.

1. Ve a la página Compilar.

2. Selecciona Importar documentos.

3. En la barra lateral, selecciona Importar documentos desde Google Cloud Storage.

4. Escribe el nombre de este bucket que contenga tus documentos.

5. En la lista División de datos, selecciona División automática. Esto divide automáticamente los documentos para tener un 80% en el conjunto de entrenamiento y un 20% en el conjunto de prueba.

6. En la sección Etiquetado automático, selecciona la casilla de verificación Importar con etiquetado automático.

7. Selecciona la versión del procesador del modelo de base para etiquetar los documentos.

8. Selecciona Importar y espera a que los documentos se importen. Puedes salir de esta página y volver más tarde.

9. Debes verificar los documentos etiquetados automáticamente antes de poder usarlos para entrenamiento o pruebas. Selecciona Comenzar etiquetado para ver los documentos etiquetados automáticamente.

10. Para usar las etiquetas sugeridas, mantén el puntero sobre cada anotación y selecciona la marca de verificación para confirmar que la etiqueta sea correcta. Por fines de entrenamiento, no edites los valores si no coinciden con el texto del documento. Solo cambia el cuadro delimitador si se seleccionó el texto incorrecto.

11. Selecciona Marcar como etiquetado cuando termines de anotar el documento.

12. Repite el proceso para cada documento etiquetado automáticamente.

Importa documentos de entrenamiento etiquetados previamente

1. Ve a la página Compilar.

2. Selecciona Importar documentos.

3. En la barra lateral, selecciona Importar documentos desde Cloud Storage.

4. Escribe la ruta de acceso en Ruta de acceso del origen que contiene tus documentos. Este bucket debe contener documentos etiquetados previamente en formato Document JSON.

5. En la lista División de datos, selecciona División automática. Esto divide automáticamente los documentos para tener un 80% en el conjunto de entrenamiento y un 20% en el conjunto de prueba. Deje desmarcada la opción Importar con etiquetado automático.

6. Selecciona Importar. La importación tarda varios minutos.

Opcional: Visualiza y administra el conjunto de datos

1. En la página Compilar, puedes acceder a la consola de Administrar conjunto de datos para ver y editar todos los documentos y etiquetas del conjunto de datos.

Entrena un procesador basado en modelos personalizados

Dado que el entrenamiento puede tardar varias horas, asegúrese de haber configurado el procesador con los datos y las etiquetas correspondientes antes de comenzar el entrenamiento.

1. Para obtener información sobre los requisitos del conjunto de datos, en Entrenar un modelo personalizado, selecciona Crear versión nueva o Ver requisitos completos. Este no es un modelo de IA generativa. Se requieren al menos 10 instancias de entrenamiento y 10 instancias de prueba de cada campo para un procesador basado en modelos personalizados.

2. En el campo Nombre de la versión, escribe un nombre para esta versión del procesador, como w2-custom-model.

3. Opcional: selecciona Ver estadísticas de etiquetas para buscar información sobre las etiquetas de documentos. Esto puede ayudarte a determinar tu cobertura. Selecciona Cerrar para volver a la configuración de entrenamiento.

4. En Método de entrenamiento de modelos, selecciona Basado en modelos.

5. Selecciona Iniciar entrenamiento. El entrenamiento tarda unas horas en completarse. Puedes cerrar esta página y volver más tarde.

6. Selecciona la pestaña Implementar y uso (opcional). En esta página, puedes ver las versiones de procesadores disponibles y el estado de entrenamiento de la versión nueva.

Implementa la versión del procesador

1. Cuando se complete el entrenamiento, selecciona la pestaña Implementar y usar.

2. Selecciona la casilla de verificación a la izquierda de la versión que deseas implementar y selecciona Implementar.

3. Selecciona Implementar en la ventana de diálogo. La implementación tarda unos minutos.

4. Cuando se implementa la versión, puedes establecerla como la Versión predeterminada o puedes proporcionar el ID de la versión cuando proceses documentos con la API.

Evalúa y prueba el procesador

1. Selecciona la pestaña Evaluar para probar la versión del procesador. En esta página, puedes ver las métricas de evaluación, incluidas la puntuación F1, la precisión y recuperación del documento completo, y las etiquetas individuales. Para obtener más información sobre la evaluación y las estadísticas, consulta Evalúa el procesador.

2. Selecciona el selector Versión y selecciona la versión con el modelo de base.

3. Descarga un documento que no haya participado en pruebas ni entrenamientos anteriores para que puedas usarlo para evaluar la versión del procesador. Si usas tus propios datos, debes usar un documento que se reserve para ello.

   Descargar PDF

4. Selecciona Subir documento de prueba y selecciona el documento que acabas de descargar. Se abrirá la página Análisis de extractores personalizados de documentos. El resultado de la pantalla muestra qué tan bien se extrajo el documento.

5. Vuelve a probar el documento usando la versión con un modelo entrenado de forma personalizada.

Usar el procesador

Creaste y entrenaste correctamente un procesador extractor personalizado.

Puedes administrar tus versiones de procesador con entrenamiento personalizado como cualquier otra versión de procesador. Para obtener más información, consulta Administra versiones de procesadores.

Para usar la API de Document AI, sigue estos pasos:

• Sigue las muestras de código que aparecen en Cómo enviar una solicitud de procesamiento para usar el procesamiento en línea o por lotes.
  • Consulta Cuotas y límites para conocer la cantidad de páginas admitidas para el procesamiento en línea y por lotes.
• Sigue la muestra de código del extractor de documentos personalizado en Cómo controlar la respuesta de procesamiento para obtener las entidades extraídas del procesador.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

Para evitar cargos innecesarios de Google Cloud , usa la consola de Google Cloud para borrar el procesador y el proyecto si no los necesitas.

Si creaste un proyecto nuevo para aprender sobre Document AI y ya no lo necesitas, bórralo.

Si usaste un proyecto existente de Google Cloud , borra los recursos que creaste para evitar que se generen cargos en tu cuenta:

1. En el menú de navegación de la consola de Google Cloud, selecciona Document AI y, luego, Mis procesadores.

2. Selecciona Más accionesen la misma fila del procesador que quieres borrar.

3. Selecciona Borrar procesador, escribe el nombre del procesador y, luego, vuelve a seleccionar Borrar para confirmar.

¿Qué sigue?

Para obtener detalles, consulta las Guías.