Administrar conjuntos de datos
Un conjunto de datos contiene muestras representativas del tipo de contenido que deseas etiquetar, con las etiquetas de cuadro delimitador que deseas que use tu modelo. El conjunto de datos sirve como entrada para entrenar un modelo.
Los pasos principales para compilar un conjunto de datos son:
- Crear un conjunto de datos y especificar si se permiten múltiples etiquetas por elemento
- Importar los elementos de datos al conjunto de datos
Antes del entrenamiento, asegúrate de preparar tus datos antes de entrenar un modelo.
Un proyecto puede tener varios conjuntos de datos, y cada uno se usa para entrenar un modelo diferente. Puedes obtener una lista de los conjuntos de datos disponibles y borrar los conjuntos de datos que ya no necesites.
Crea un conjunto de datos
El primer paso cuando se crea un modelo es crear un conjunto de datos vacío que, más adelante, tendrá los datos de entrenamiento para el modelo.
IU web
La IU de seguimiento de objetos de AutoML Video te permite crear un conjunto de datos nuevo y, luego, importar elementos desde la misma página.- Abre la IU de seguimiento de objetos de AutoML Video. La página Conjuntos de datos muestra el estado de los conjuntos de datos creados antes para el proyecto actual. Para agregar un conjunto de datos a un proyecto diferente, selecciona el proyecto de la lista desplegable en la esquina superior derecha de la barra de título.
- En la página Conjuntos de datos (Datasets), haz clic en Crear conjunto de datos (Create Dataset).
- En el diálogo Crear nuevo conjunto de datos, haz lo siguiente:
- Especifica un nombre para este conjunto de datos.
- Selecciona Seguimiento de objetos de video (Video Object Tracking).
- Haz clic en Crear conjunto de datos.
- En la página de tu conjunto de datos, proporciona el URI de Cloud Storage del archivo CSV que contiene los URI de tus datos de entrenamiento, sin el prefijo
gs://
al principio. - También en la página de tu conjunto de datos, haz clic en Continuar para comenzar la importación.
REST
En el siguiente ejemplo, se crea un conjunto de datos llamado my_dataset01
que admite caso de uso de seguimiento de objetos. El conjunto de datos recién creado no contiene ningún dato hasta que importas elementos en él.
Guarda el "name"
del conjunto de datos nuevo (de la respuesta) para usarlo con otras operaciones, como importar elementos a tu conjunto de datos y entrenar un modelo.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- dataset-name: Es el nombre de tu conjunto de datos de destino.
Por ejemplo,my_dataset_01
- Nota:
- project-number: Es el número de tu proyecto.
- location-id: Es la región de Cloud en la que se debe realizar la anotación. Las regiones en la nube compatibles son:
us-east1
,us-west1
,europe-west1
,asia-east1
. Si no se especifica ninguna región, se determinará una región en función de la ubicación del archivo de video.
HTTP method and URL:
POST https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets
Cuerpo JSON de la solicitud:
{ "displayName": "dataset-name", "videoObjectTrackingDatasetMetadata": { } }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets" | Select-Object -Expand Content
VOT12345....
Java
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Importar elementos a un conjunto de datos
Después de crear un conjunto de datos, puedes importar datos etiquetados desde archivos CSV almacenados en un bucket de Cloud Storage. Si deseas obtener detalles sobre cómo preparar tus datos y crear un archivo CSV para importar, consulta Prepara los datos de entrenamiento.
Puedes importar elementos para cargar un conjunto de datos vacío o para ampliar un conjunto de datos existente.
IU web
Por lo general, los datos se importan cuando creas el conjunto de datos.Sin embargo, si necesitas importar tus datos después de crear un conjunto de datos, haz lo siguiente:
- Abre la IU de seguimiento de objetos de AutoML Video. La página Conjuntos de datos muestra el estado de los conjuntos de datos creados antes para el proyecto actual.
- En la lista, haz clic en el conjunto de datos al que deseas importar datos.
- En la pestaña Importar (Import), proporciona el URI de Cloud Storage del archivo CSV que contiene los URI de tus datos de entrenamiento, sin el prefijo
gs://
al principio. - Además, en la pestaña Importar de tu conjunto de datos, haz clic en Continuar para comenzar la importación.
REST
Para importar tus datos de entrenamiento, usa el métodoimportData
. Este método requiere que proporciones dos parámetros:
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- dataset-id: Es el ID del conjunto de datos. El ID es el último elemento del nombre de tu conjunto de datos. Por ejemplo:
- Nombre del conjunto de datos:
projects/project-number/locations/location-id/datasets/3104518874390609379
- ID del conjunto de datos:
3104518874390609379
- Nombre del conjunto de datos:
- bucket-name: Reemplaza por el nombre del depósito de Cloud Storage en el que almacenaste tu archivo CSV de la lista de archivos de entrenamiento de modelos.
- csv-file-name: Reemplaza por el nombre de tu archivo CSV de la lista de archivos de entrenamiento de modelos.
- Nota:
- project-number: Es el número de tu proyecto.
- location-id: Es la región de Cloud en la que se debe realizar la anotación. Las regiones en la nube compatibles son:
us-east1
,us-west1
,europe-west1
,asia-east1
. Si no se especifica ninguna región, se determinará una región en función de la ubicación del archivo de video.
HTTP method and URL:
POST https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData
Cuerpo JSON de la solicitud:
{ "inputConfig": { "gcsSource": { "inputUris": ["gs://bucket-name/csv-file-name.csv"] } } }
Para enviar tu solicitud, elige una de estas opciones:
curl
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData"
PowerShell
Guarda el cuerpo de la solicitud en un archivo llamado request.json
y ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id:importData" | Select-Object -Expand Content
VOT7506374678919774208
.
Java
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Etiquetar elementos de entrenamiento
Para que pueda usarse en el entrenamiento de un modelo, cada elemento de un conjunto de datos debe contener al menos un cuadro de límite y una etiqueta de categoría asignada. Puedes proporcionar etiquetas y cuadros de límite para los elementos de entrenamiento de dos maneras:
- Incluir etiquetas y cuadros de límite en el archivo CSV
- Aplicar etiquetas y cuadros de límite a los elementos en la IU de seguimiento de objetos de AutoML Video.
Para obtener detalles sobre cómo etiquetar elementos en tu archivo CSV, consulta Prepara los datos de entrenamiento.
Para etiquetar elementos en la IU de seguimiento de objetos de AutoML Video, selecciona el conjunto de datos de la página de la lista correspondiente a fin de ver sus detalles. El nombre visible del conjunto de datos seleccionado aparece en la barra de título, y se muestran los elementos individuales del conjunto junto con las etiquetas de cada uno. En la barra de navegación a la izquierda, se resume el número de elementos etiquetados y no etiquetados. También te permite filtrar la lista de elementos por etiqueta.
Para asignar etiquetas y cuadros de límite a videos sin etiquetar o cambiar etiquetas de video y cuadros de límite, haz lo siguiente:
- En la página del conjunto de datos, haz clic en el video al que le deseas agregar etiquetas.
En la página del video, haz lo siguiente:
- Ejecuta el video hasta que veas el elemento que quieres etiquetar.
- Arrastra el cursor para dibujar un cuadro de límite alrededor del elemento.
- Después de dibujar el cuadro de límite, selecciona la etiqueta que deseas usar.
- Haz clic en Guardar.
Si necesitas agregar una etiqueta nueva al conjunto de datos, en la página del conjunto de datos, sobre la lista de etiquetas existentes, haz clic en los tres puntos junto a Filtrar etiquetas y, luego, en Agregar una etiqueta nueva.
Cambia las etiquetas en los datos
También puedes cambiar las etiquetas aplicadas a los videos de un conjunto de datos. En la IU de seguimiento de objetos de AutoML Video, haz lo siguiente:
- En la página del conjunto de datos, haz clic en el video en el que quieres cambiar las etiquetas.
En la página del video, haz lo siguiente:
- En la lista de etiquetas de la izquierda, selecciona la que deseas cambiar.
- En la vista previa del video, haz clic con el botón derecho en el cuadro de límite del video y selecciona la etiqueta que quieres.
- Haz clic en Guardar.
Enumera conjuntos de datos
Un proyecto puede incluir muchos conjuntos de datos. En esta sección, se describe cómo recuperar una lista de los conjuntos de datos disponibles para un proyecto.
IU web
Para ver una lista de los conjuntos de datos disponibles que usan la IU de AutoML Video Object Tracking, navega a la página Conjuntos de datos.
Para ver los conjuntos de datos de un proyecto diferente, selecciona el proyecto de la lista desplegable en la parte superior derecha de la barra de título.
REST
Usa los siguientes comandoscurl
o PowerShell para obtener una lista de tus conjuntos de datos y la cantidad de videos de muestra que se importaron en él.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-number: Es el número de tu proyecto.
- location-id: Es la región de Cloud en la que se debe realizar la anotación. Las regiones en la nube compatibles son:
us-east1
,us-west1
,europe-west1
,asia-east1
. Si no se especifica ninguna región, se determinará una región en función de la ubicación del archivo de video.
HTTP method and URL:
GET https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets
Para enviar tu solicitud, elige una de estas opciones:
curl
Ejecuta el siguiente comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
"https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets "
PowerShell
Ejecuta el siguiente comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets " | Select-Object -Expand Content
VOT3940649673949184000
es el ID de operación de la operación de larga duración creada para la solicitud y proporcionada en la respuesta cuando iniciaste la operación.
Java
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Borra un conjunto de datos
En el siguiente código, se muestra cómo borrar un conjunto de datos.
IU web
-
Navega a la página Conjuntos de datos en la IU de seguimiento de objetos de AutoML Video.
- Haz clic en el menú de tres puntos en el extremo derecho de la fila que deseas borrar y selecciona Borrar conjunto de datos.
- Haz clic en Confirmar en el cuadro de diálogo de confirmación.
REST
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- project-number: Es el número de tu proyecto.
- location-id: Es la región de Cloud en la que se debe realizar la anotación. Las regiones en la nube compatibles son:
us-east1
,us-west1
,europe-west1
,asia-east1
. Si no se especifica ninguna región, se determinará una región en función de la ubicación del archivo de video. - datase-id: Reemplaza por el identificador de tu ID del conjunto de datos.
HTTP method and URL:
DELETE https://automl.googleapis.com/v1beta1/projects/project-number/locations/location-id/datasets/dataset-id
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir un código de estado exitoso (2xx) y una respuesta vacía.
Java
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para autenticarte en AutoML Video Object Tracking, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.