Usar conjuntos de datos de Estadísticas de almacenamiento

En esta página se explica cómo crear y gestionar conjuntos de datos y configuraciones de conjuntos de datos de Storage Insights. Más información sobre los conjuntos de datos de Storage Insights

Antes de empezar

Antes de empezar a crear y gestionar conjuntos de datos y configuraciones de conjuntos de datos, sigue las instrucciones de las subsecciones siguientes.

Obtener los roles necesarios

Para obtener los permisos que necesitas para crear y gestionar conjuntos de datos, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tus proyectos de origen:

• Para crear, gestionar y ver configuraciones de conjuntos de datos, sigue estos pasos: Administrador de Estadísticas de almacenamiento (roles/storageinsights.admin)
• Para ver, vincular y desvincular conjuntos de datos, sigue estos pasos:
  • Analista de Estadísticas de almacenamiento (roles/storageinsights.analyst)
  • Administrador de BigQuery (roles/bigquery.admin)
• Para eliminar conjuntos de datos vinculados, siga estos pasos: Administración de BigQuery (roles/bigquery.admin)
• Para ver y consultar conjuntos de datos en BigQuery, sigue estos pasos:
  • Lector de estadísticas de almacenamiento (roles/storageinsights.viewer)
  • Usuario de tareas de BigQuery (roles/bigquery.jobUser)
  • Lector de datos de BigQuery (roles/bigquery.dataViewer)

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear y gestionar conjuntos de datos. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para crear y gestionar conjuntos de datos, se necesitan los siguientes permisos:

• Crea una configuración de conjunto de datos: storageinsights.datasetConfigs.create
• Para ver la configuración del conjunto de datos, haz lo siguiente:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
• Gestionar la configuración de un conjunto de datos:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
• Enlace al conjunto de datos de BigQuery: storageinsights.datasetConfigs.linkDataset
• Desvincular del conjunto de datos de BigQuery: storageinsights.datasetConfigs.unlinkDataset
• Consultar conjuntos de datos vinculados de BigQuery: bigquery.jobs.create or bigquery.jobs.*

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Habilitar la API Storage Insights

Consola

Habilita la API storageinsights.googleapis.com.

Línea de comandos

Para habilitar la API Storage Insights en tu proyecto actual, ejecuta el siguiente comando:

gcloud services enable storageinsights.googleapis.com

Para obtener más información sobre cómo habilitar servicios en un proyecto de Google Cloud , consulta el artículo Habilitar e inhabilitar servicios.

Configurar Storage Intelligence

Asegúrate de que Storage Intelligence esté configurado en el proyecto, la carpeta o la organización que quieras analizar con conjuntos de datos.

Crear una configuración de conjunto de datos

Para crear una configuración de conjunto de datos y generar un conjunto de datos, sigue estos pasos. Para obtener más información sobre los campos que puede especificar al crear la configuración del conjunto de datos, consulte Propiedades de configuración del conjunto de datos.

Nota: Después de configurar el conjunto de datos, pueden pasar hasta 48 horas hasta que veas los primeros datos en BigQuery como conjunto de datos vinculado. Los objetos o los contenedores que se añadan se incluirán en la siguiente instantánea diaria.

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haz clic en Configurar conjunto de datos.

3. En la sección Asigna un nombre al conjunto de datos, introduce el nombre que quieras darle. De manera opcional, introduzca una descripción del conjunto de datos.

4. En la sección Define dataset scope (Definir el ámbito del conjunto de datos), haga lo siguiente:

   • Selecciona una de las opciones siguientes:

     • Para obtener los metadatos de almacenamiento de todos los proyectos de la organización actual, selecciona Incluir la organización.

     • Para obtener los metadatos de almacenamiento de todos los proyectos de las carpetas seleccionadas, selecciona Incluir carpetas(suborganización o departamentos). Para obtener información sobre cómo obtener los IDs de las carpetas, consulta Ver o enumerar carpetas y proyectos. Para añadir carpetas, siga estos pasos:

       1. En el campo Carpeta 1, introduce el ID de la carpeta.
       2. Si quieres añadir varios IDs de carpeta, haz clic en + Añadir otra carpeta.

     • Para obtener los metadatos de almacenamiento de los proyectos seleccionados, selecciona Incluir proyectos proporcionando los números de proyecto. Para saber cómo encontrar los números de proyecto, consulta el artículo Buscar el nombre, el número y el ID de un proyecto. Para añadir proyectos, sigue estos pasos:

       1. En el campo Proyecto 1, introduce el número del proyecto.
       2. Si quieres añadir varios números de proyecto, haz clic en + Añadir otro proyecto.

     • Para añadir proyectos o carpetas en bloque, selecciona Subir una lista de proyectos o carpetas mediante un archivo CSV. El archivo CSV debe contener los números de proyecto o los IDs de carpeta que quiera incluir en el conjunto de datos.

   • Especifica si quieres incluir automáticamente los futuros contenedores en el recurso seleccionado.

   • Si quiere especificar filtros en los contenedores en función de las regiones y los prefijos de los contenedores, expanda la sección Filtros (opcional). Los filtros se aplican de forma acumulativa en los segmentos.

     Puede incluir o excluir los contenedores de regiones específicas. Por ejemplo, puedes excluir los contenedores que se encuentren en las regiones me-central1 y me-central2. También puede incluir o excluir contenedores por prefijo. Por ejemplo, si quiere excluir los segmentos que empiezan por my-bucket, introduzca el prefijo my-bucket*.

5. Haz clic en Continuar.

6. En la sección Seleccionar periodo de conservación, elija un periodo de conservación para los datos del conjunto de datos.

7. En la sección Seleccionar la ubicación para almacenar el conjunto de datos configurado, elija una ubicación para almacenar el conjunto de datos y su configuración.

8. En la sección Seleccionar tipo de cuenta de servicio, elige un tipo de agente de servicio para tu conjunto de datos. Este agente de servicio se crea en tu nombre cuando creas la configuración del conjunto de datos. Puedes seleccionar uno de los siguientes agentes de servicio:

   • Cuenta de servicio con ámbito de configuración: este agente de servicio solo puede acceder al conjunto de datos generado por la configuración de un conjunto de datos concreto y escribir en él.
   • Cuenta de servicio con ámbito de proyecto: este agente de servicio puede acceder a los conjuntos de datos que se generan a partir de todas las configuraciones de conjuntos de datos del proyecto y escribir en ellos.

   Una vez que hayas creado el agente de servicio, debes concederle los permisos necesarios. Para obtener más información sobre estos agentes de servicio, consulta las propiedades de configuración de conjuntos de datos.

9. Haz clic en Configurar. Una vez que hayas configurado el conjunto de datos, pueden pasar hasta 48 horas hasta que veas la primera carga de datos en los conjuntos de datos vinculados.

Línea de comandos

1. Para crear una configuración de conjunto de datos, ejecuta el comando gcloud alpha storage insights dataset-configs create con las marcas necesarias:

   gcloud alpha storage insights dataset-configs create DATASET_CONFIG_ID \
     --location=LOCATION \
     --organization=SOURCE_ORG_NUMBER \
     --retention-period-days=RETENTION_PERIOD_DAYS \
     (SCOPE_FLAG)
   

   Donde:

   • DATASET_CONFIG_ID es el nombre que quieres asignar a la configuración del conjunto de datos. Los nombres se usan como identificador de las configuraciones de conjuntos de datos y se pueden modificar. El nombre puede contener hasta 128 caracteres con letras, números y guiones bajos.

   • LOCATION es la ubicación en la que se almacenarán la configuración y el conjunto de datos.

   • SOURCE_ORG_NUMBER es el ID de la organización a la que pertenecen los proyectos de origen. Para saber cómo encontrar el ID de tu organización, consulta el artículo Obtener el ID de recurso de tu organización.

   • RETENTION_PERIOD_DAYS es el periodo de conservación de los datos del conjunto de datos.

   • SCOPE_FLAG es una de las siguientes marcas que define el ámbito de los datos que quiere recoger:

     • --enable-organization-scope: permite que el conjunto de datos recoja estadísticas de todos los segmentos de toda la organización.
     • --source-folders=[SOURCE_FOLDER_NUMBERS,...]: Especifica una lista de números de carpetas que se incluirán en el conjunto de datos. Para saber cómo encontrar el número de una carpeta, consulta Listar todos los proyectos y carpetas de tu jerarquía.
     • --source-folders-file=FILE_PATH: Especifica varios números de carpeta subiendo un archivo CSV a un contenedor.
     • --source-projects=[SOURCE_PROJECT_NUMBERS,...]: Especifica una lista de números de proyecto que se incluirán en el conjunto de datos. Por ejemplo, 464036093014. Para saber cómo encontrar el número de tu proyecto, consulta Buscar el nombre, el número y el ID de un proyecto.
     • --source-projects-file=FILE_PATH: Especifica varios números de proyecto subiendo un archivo CSV a un contenedor.

   También puedes usar marcas adicionales para configurar el conjunto de datos:

   • Usa --include-buckets=BUCKET_NAMES_OR_REGEX para incluir determinados contenedores por nombre o expresión regular. Si se usa esta marca, no se puede usar --exclude-buckets.

   • Usa --exclude-buckets=BUCKET_NAMES_OR_REGEX para excluir determinados segmentos por nombre o expresión regular. Si se usa esta marca, no se puede usar --include-buckets.

   • Usa --project=DESTINATION_PROJECT_ID para especificar un proyecto que se usará para almacenar la configuración del conjunto de datos y el conjunto de datos generado. Si no se usa esta marca, el proyecto de destino será el proyecto activo. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

   • Usa --auto-add-new-buckets para incluir automáticamente los contenedores que se añadan a los proyectos de origen en el futuro.

   • Usa --skip-verification para omitir las comprobaciones y los errores del proceso de verificación, que incluye comprobaciones de los permisos de IAM obligatorios. Si se usa, es posible que algunos o todos los contenedores se excluyan del conjunto de datos.

   • Usa --identity=IDENTITY_TYPE para especificar el tipo de agente de servicio que se crea junto con la configuración del conjunto de datos. Los valores son IDENTITY_TYPE_PER_CONFIG y IDENTITY_TYPE_PER_PROJECT. Si no se especifica ningún valor, se utiliza IDENTITY_TYPE_PER_CONFIG de forma predeterminada.

   • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

   • Usa --organization=ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen. La configuración del conjunto de datos excluye los proyectos de origen que no se encuentran en la ubicación especificada. Para saber cómo encontrar el ID de tu organización, consulta el artículo Obtener el ID de recurso de tu organización. Si no se especifica, se usa el ID de organización del proyecto de origen.

   En el siguiente ejemplo se crea una configuración de conjunto de datos llamada my-dataset en la región us-central1, para la organización con el ID 123456789, con un periodo de conservación de 30 días y un ámbito limitado a los proyectos 987654321 y 123123123:

   gcloud alpha storage insights dataset-configs create my-dataset \
     --location=us-central1 \
     --organization=123456789 \
     --retention-period-days=30 \
     --source-projects=987654321,123123123
   

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Crea un archivo JSON que contenga la siguiente información:

   {
     "sourceProjects": {
       "project_numbers": ["PROJECT_NUMBERS", ...]
     },
     "retentionPeriodDays": "RETENTION_PERIOD_DAYS",
     "identity": {
       "type": "IDENTITY_TYPE"
     }
   }

   Sustituye:

   • PROJECT_NUMBERS con los números de los proyectos que quieras incluir en el conjunto de datos. Puedes especificar uno o varios proyectos. Los proyectos deben especificarse como una lista de cadenas.

     También puede añadir una organización o una o varias carpetas que contengan los cubos y los objetos cuyos metadatos quiera actualizar. Para incluir carpetas u organizaciones, usa los campos sourceFolders o organizationScope, respectivamente. Para obtener más información, consulta la referencia de DatasetConfig.

   • RETENTION_PERIOD_DAYS con el número de días de datos que se van a capturar en la captura del conjunto de datos. Por ejemplo, 90.

   • IDENTITY_TYPE con el tipo de cuenta de servicio que se crea junto con la configuración del conjunto de datos. Los valores son IDENTITY_TYPE_PER_CONFIG y IDENTITY_TYPE_PER_PROJECT.

3. Para crear la configuración del conjunto de datos, usa cURL para llamar a la API JSON con una solicitud Create DatasetConfig:

   curl -X POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs?datasetConfigId=DATASET_CONFIG_ID" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"

   Sustituye:

   • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior. También puedes pasar una instancia de DatasetConfig en el cuerpo de la solicitud.

   • PROJECT_ID por el ID del proyecto al que pertenecerán la configuración y el conjunto de datos.

   • LOCATION con la ubicación en la que se encontrarán el conjunto de datos y su configuración. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre que quieras darle a la configuración del conjunto de datos. Los nombres se usan como identificador de las configuraciones de conjuntos de datos y no son inmutables. El nombre puede contener hasta 128 caracteres con letras, números y guiones bajos. El nombre debe empezar por una letra.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Para solucionar los errores de procesamiento de las copias de los registros que se registran en error_attributes_view, consulte Errores del conjunto de datos de Estadísticas de almacenamiento.

Conceder los permisos necesarios al agente de servicio

Google Cloud crea un servicio de agente con ámbito de configuración o de proyecto en tu nombre cuando creas una configuración de conjunto de datos. El agente de servicio sigue el formato de nomenclatura [e-mail] y aparece en la página Gestión de identidades y accesos de la consola Google Cloud cuando seleccionas la casilla Incluir asignaciones de roles proporcionadas por Google. También puedes consultar el nombre del agente de servicio DatasetConfig mediante la API JSON.

Para que Storage Insights pueda generar y escribir conjuntos de datos, pide a tu administrador que asigne al agente de servicio el rol de servicio de recopilador de Storage Insights (roles/storage.insightsCollectorService) en la organización que contenga los proyectos de origen. Este rol se debe asignar a cada agente de servicio con ámbito de configuración que se cree para cada configuración de conjunto de datos de la que quieras obtener datos. Si usas un agente de servicio con ámbito de proyecto, este rol solo se debe conceder una vez para que el agente de servicio pueda leer y escribir conjuntos de datos de todas las configuraciones de conjuntos de datos del proyecto.

Para obtener instrucciones sobre cómo conceder roles en proyectos, consulta el artículo Gestionar el acceso.

Vincular un conjunto de datos

Para vincular un conjunto de datos a BigQuery, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haga clic en el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quiere vincular.

3. En la sección Conjunto de datos vinculado de BigQuery, haga clic en Vincular conjunto de datos para vincular su conjunto de datos.

Línea de comandos

1. Para vincular un conjunto de datos a BigQuery, ejecute el comando gcloud alpha storage insights dataset-configs create-link

   gcloud alpha storage insights dataset-configs create-link DATASET_CONFIG_ID --location=LOCATION

   Sustituye:

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres vincular.

   • LOCATION con la ubicación de tu conjunto de datos. Por ejemplo, us-central1.

   Como alternativa a la especificación de DATASET_CONFIG_ID y LOCATION, puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

   gcloud alpha storage insights dataset-configs create-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID_

   Sustituye:

   • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres vincular.

   • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Crea un archivo JSON que contenga la siguiente información:

   {
     "name": "DATASET_NAME"
   }

   Sustituye:

   • DATASET_NAME con el nombre del conjunto de datos que quieras vincular. Por ejemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. Usa cURL para llamar a la API JSON con una solicitud linkDataset DatasetConfig:

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:linkDataset?" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior.

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación en la que se encuentran el conjunto de datos y su configuración. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres vincular.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Ver y consultar conjuntos de datos vinculados

Para ver y consultar conjuntos de datos vinculados, sigue estos pasos:

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

   Aparecerá una lista de las configuraciones de conjuntos de datos creadas en tu proyecto.

2. Haga clic en el conjunto de datos vinculado de BigQuery de la configuración del conjunto de datos que quiera ver.

   El conjunto de datos vinculado de BigQuery aparece en la Google Cloud consola. Para obtener información sobre el esquema de conjunto de datos de los metadatos, consulta Esquema de conjunto de datos de los metadatos.

3. Puede consultar tablas y vistas de sus conjuntos de datos vinculados de la misma forma que consultaría cualquier otra tabla de BigQuery.

Desvincular un conjunto de datos

Para evitar que la configuración del conjunto de datos se publique en el conjunto de datos de BigQuery, desvincúlalo. Para desvincular un conjunto de datos, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haz clic en el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

3. En la sección Conjunto de datos vinculado de BigQuery, haga clic en Desvincular conjunto de datos para desvincularlo.

Línea de comandos

1. Para desvincular el conjunto de datos, ejecuta el comando gcloud alpha storage insights dataset-configs delete-link:

   gcloud alpha storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   Sustituye:

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

   • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   Como alternativa a la especificación de DATASET_CONFIG_ID y LOCATION, puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

   gcloud alpha storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Sustituye:

   • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

   • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Crea un archivo JSON que contenga la siguiente información:

   {
     "name": "DATASET_NAME"
   }

   Sustituye:

   • DATASET_NAME con el nombre del conjunto de datos que quieras desvincular. Por ejemplo, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. Usa cURL para llamar a la API JSON con una solicitud unlinkDataset DatasetConfig:

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigsDATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior.

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres desvincular.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Ver la configuración de un conjunto de datos

Para ver la configuración de un conjunto de datos, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haga clic en el nombre de la configuración del conjunto de datos que quiera ver.

   Se muestran los detalles de configuración del conjunto de datos.

Línea de comandos

1. Para describir una configuración de conjunto de datos, ejecuta el comando gcloud alpha storage insights dataset-configs describe:

   gcloud alpha storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   Sustituye:

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos.

   Como alternativa a la especificación de DATASET_CONFIG_ID y LOCATION, puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

   gcloud alpha storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   Sustituye:

   • DESTINATION_PROJECT_ID con el ID del proyecto que contiene la configuración del conjunto de datos. Para obtener más información sobre los IDs de proyecto, consulta el artículo Crea y gestiona proyectos.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que ha generado el conjunto de datos que quieres ver.

   • LOCATION con la ubicación de tu conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Usa cURL para llamar a la API JSON con una solicitud Get DatasetConfig:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Mostrar configuraciones de conjuntos de datos

Para enumerar las configuraciones de conjuntos de datos de un proyecto, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

   Se muestra la lista de configuraciones de conjuntos de datos.

Línea de comandos

1. Para enumerar las configuraciones de conjuntos de datos de un proyecto, ejecuta el comando gcloud alpha storage insights dataset-configs list:

   gcloud alpha storage insights dataset-configs list --location=LOCATION

   Sustituye:

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   Puedes usar las siguientes marcas opcionales para especificar el comportamiento de la llamada de listado:

   • Usa --page-size para especificar el número máximo de resultados que se devolverán por página.

   • Usa --filter=FILTER para filtrar los resultados. Para obtener más información sobre cómo usar la marca --filter, ejecuta gcloud topic filters y consulta la documentación.

   • Usa --sort-by=SORT_BY_VALUE para especificar una lista de nombres de claves de campos de recursos separados por comas por los que ordenar. Por ejemplo, --sort-by=DATASET_CONFIG_ID.

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Usa cURL para llamar a la API JSON con una solicitud Get DatasetConfig:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Actualizar la configuración de un conjunto de datos

Para actualizar la configuración de un conjunto de datos, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haga clic en el nombre de la configuración del conjunto de datos que quiera actualizar.

3. En la pestaña Configuración del conjunto de datos que aparece, haga clic en Editar para actualizar los campos.

Línea de comandos

1. Para actualizar la configuración de un conjunto de datos, ejecuta el comando gcloud alpha storage insights dataset-configs update:

   gcloud alpha storage insights dataset-configs update DATASET_CONFG_ID \
     --location=LOCATION

   Sustituye:

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos.

   Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

   • Usa --skip-verification para omitir las comprobaciones y los errores del proceso de verificación, que incluye comprobaciones de los permisos de IAM obligatorios. Si se usa, es posible que algunos o todos los contenedores se excluyan del conjunto de datos.

   • Usa --retention-period-days=DAYS para especificar el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

   • Usa --description=DESCRIPTION para escribir una descripción de la configuración del conjunto de datos.

   • Use --organization=ORGANIZATION_ID para especificar el ID de la organización del proyecto de origen. Si no se especifica, se utiliza el ID de organización del proyecto de origen de forma predeterminada.

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Crea un archivo JSON que contenga la siguiente información opcional:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": RETENTION_PERIOD"
   }

   Sustituye:

   • ORGANIZATION_ID con el ID de recurso de la organización a la que pertenecen los proyectos de origen. Si no se especifica, se usa el ID de organización del proyecto de origen.

   • PROJECT_NUMBERS con los números de proyecto que quieras incluir en el conjunto de datos. Puedes especificar uno o varios proyectos. Los proyectos deben especificarse en formato de lista.

   • RETENTION_PERIOD con el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

3. Para actualizar la configuración del conjunto de datos, usa cURL para llamar a la API JSON con una solicitud Patch DatasetConfig:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=RETENTION_PERIOD" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • JSON_FILE_NAME con la ruta al archivo JSON que has creado en el paso anterior.

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras actualizar.

   • RETENTION_PERIOD con el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Eliminar una configuración de conjunto de datos

Para eliminar una configuración de conjunto de datos, sigue estos pasos:

Consola

1. En la Google Cloud consola, ve a la página Storage Insights de Cloud Storage.
   

   Ir a Estadísticas de almacenamiento

2. Haz clic en el nombre de la configuración del conjunto de datos que quieras eliminar.

3. Haz clic en Eliminar .

Línea de comandos

1. Para eliminar una configuración de conjunto de datos, ejecuta el comando gcloud alpha storage insights dataset-configs delete:

   gcloud alpha storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   Sustituye:

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras eliminar.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   Usa las siguientes marcas para actualizar las propiedades de la configuración del conjunto de datos:

   • Usa --auto-delete-link para desvincular el conjunto de datos que se haya generado a partir de la configuración del conjunto de datos que quieras eliminar. Debes desvincular un conjunto de datos antes de eliminar la configuración del conjunto de datos que lo ha generado.

   • Usa --retention-period-days=DAYS para especificar el número de días de datos que se van a capturar en la instantánea del conjunto de datos. Por ejemplo, 90.

   Como alternativa a la especificación de DATASET_CONFIG_ID y LOCATION, puedes especificar una ruta de configuración de conjunto de datos completa. Por ejemplo:

   gcloud alpha storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

APIs REST

API JSON

1. Tener instalada e inicializadala CLI de gcloud, que te permite generar un token de acceso para el encabezado Authorization.

2. Usa cURL para llamar a la API JSON con una solicitud Delete DatasetConfig:

   curl -X DELETE \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer ACCESS_TOKEN" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json" \
   

   Sustituye:

   • PROJECT_ID con el ID del proyecto al que pertenece la configuración del conjunto de datos.

   • LOCATION con la ubicación del conjunto de datos y la configuración del conjunto de datos. Por ejemplo, us-central1.

   • DATASET_CONFIG_ID con el nombre de la configuración del conjunto de datos que quieras eliminar.

   • ACCESS_TOKEN con el token de acceso que generaste al instalar e inicializar la CLI de Google Cloud.

Siguientes pasos

• Ver conjuntos de datos vinculados.
• Consulta un conjunto de datos vinculado.
• Analiza los datos almacenados con Gemini Cloud Assist.