Exportar metadados de recursos para o BigQuery

Este documento mostra como exportar um snapshot de recurso da sua organização, pasta ou projeto para uma tabela do BigQuery e, em seguida, executar a análise de dados no seu inventário. O BigQuery oferece uma experiência semelhante ao SQL para que os usuários analisem dados e produzam insights significativos sem usar scripts personalizados.

Antes de começar

  1. Ative a API Cloud Asset Inventory no projeto em que você está executando comandos do Inventário de recursos do Cloud.

    Ativar a API Cloud Asset Inventory

  2. Verifique se a conta tem o papel correto para chamar a API Cloud Asset Inventory. Para permissões individuais de cada tipo de chamada, consulte Permissões.

  3. Crie um conjunto de dados do BigQuery para exportar, se você ainda não tiver um.

Limitações

  • Ao exportar dados de uma tabela do BigQuery, nem todos os campos são aceitos pelo Inventário de recursos do Cloud.

  • Campos de recursos que mudam com frequência, como numBytes, numLongTermBytes, numPhysicalBytes e numRows, podem ser exportados com um valor null.

  • Não é possível exportar para tabelas em cluster do BigQuery.

  • Não é possível usar tabelas do BigQuery criptografadas com chaves personalizadas do Cloud Key Management Service (Cloud KMS).

  • Não é possível anexar a saída de exportação a uma tabela atual, a menos que você exporte para uma tabela particionada. A tabela de destino precisa estar vazia ou você precisa substituí-la. Para substituí-la, use a flag --output-bigquery-force com a CLI gcloud ou use "force": true com a API REST.

  • Os tipos de recurso do Google Kubernetes Engine (GKE), exceto container.googleapis.com/Cluster e container.googleapis.com/NodePool, não são compatíveis com a exportação para tabelas separadas para cada tipo de recurso.

  • O Inventário de recursos do Cloud rejeita solicitações de exportação se uma solicitação anterior para o mesmo destino tiver sido iniciada há menos de 15 minutos e ainda estiver em execução. No entanto, se uma exportação levar mais de 15 minutos para ser concluída, ela será marcada como concluída e novas solicitações de exportação para o mesmo destino serão permitidas.

  • O tipo de conteúdo ACCESS_POLICY só pode ser exportado no nível da organização.

  • Se a tabela para a qual você está exportando já existir e estiver em processo de exportação, um erro 400 será retornado.

Esquemas do BigQuery usados para exportação

Todas as tabelas do BigQuery são definidas por um esquema que descreve os nomes, tipos de dados e outras informações da coluna. A definição do tipo de conteúdo para uma exportação determina o esquema da tabela:

  • Recurso ou não especificado:ao definir o tipo de conteúdo como RESOURCE ou não especificar, e definir a flag per-asset-type como false ou não usar, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema de recurso

    [
  {
    "name": "name",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  {
    "name": "asset_type",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  {
    "name": "resource",
    "type": "RECORD",
    "mode": "NULLABLE",
    "fields": [
      {
        "name": "version",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "discovery_document_uri",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "discovery_name",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "resource_url",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "parent",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "data",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "location",
        "type": "STRING",
        "mode": "NULLABLE"
      }
    ]
  },
  {
    "name": "ancestors",
    "type": "STRING",
    "mode": "REPEATED"
  },
  {
    "name": "update_time",
    "type": "TIMESTAMP",
    "mode": "NULLABLE"
  }
]

    A coluna resource.data são os metadados do recurso representados como uma string JSON.

    Quando você define o tipo de conteúdo como RESOURCE ou não define e define a flag per-asset-type como true, você cria tabelas separadas para cada tipo de recurso. O esquema de cada tabela inclui colunas de tipo RECORD mapeadas para os campos aninhados no campo Resource.data desse tipo de recurso (até 15 níveis aninhados compatíveis com o BigQuery). Para conferir exemplos de tabelas, consulte export-assets-examples no console Google Cloud .

  • Política do IAM:ao definir o tipo de conteúdo como IAM_POLICY na API REST ou iam-policy na CLI gcloud, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema da política do IAM

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "version",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "fields": [
          {
            "name": "role",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "members",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "expression",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "title",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "description",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "location",
                "mode": "NULLABLE",
                "type": "STRING"
              }
            ],
            "name": "condition",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "bindings",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "service",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "log_type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "name": "exempted_members",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "audit_log_configs",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "audit_configs",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "iam_policy",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Política da organização:ao definir o tipo de conteúdo como ORG_POLICY na API REST ou org-policy na CLI gcloud, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema de política da organização

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "version",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "name": "constraint",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "update_time",
        "mode": "NULLABLE",
        "type": "TIMESTAMP"
      },
      {
        "fields": [
          {
            "name": "allowed_values",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "denied_values",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "all_values",
            "mode": "NULLABLE",
            "type": "INTEGER"
          },
          {
            "name": "suggested_value",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "inherit_from_parent",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "list_policy",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "enforced",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "boolean_policy",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "_present",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "restore_default",
        "mode": "NULLABLE",
        "type": "RECORD"
      }
    ],
    "name": "org_policy",
    "mode": "REPEATED",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Política VPCSC:ao definir o tipo de conteúdo como ACCESS_POLICY na API REST ou access-policy na CLI gcloud, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema da política VPCSC

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "parent",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "scopes",
        "mode": "REPEATED",
        "type": "STRING"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "access_policy",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "description",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "fields": [
          {
            "fields": [
              {
                "name": "ip_subnetworks",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "fields": [
                  {
                    "name": "require_screenlock",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  },
                  {
                    "name": "allowed_encryption_statuses",
                    "mode": "REPEATED",
                    "type": "INTEGER"
                  },
                  {
                    "fields": [
                      {
                        "name": "os_type",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "minimum_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "require_verified_chrome_os",
                        "mode": "NULLABLE",
                        "type": "BOOLEAN"
                      }
                    ],
                    "name": "os_constraints",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "allowed_device_management_levels",
                    "mode": "REPEATED",
                    "type": "INTEGER"
                  },
                  {
                    "name": "require_admin_approval",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  },
                  {
                    "name": "require_corp_owned",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  }
                ],
                "name": "device_policy",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "name": "required_access_levels",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "name": "negate",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "members",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "name": "regions",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "conditions",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "name": "combining_function",
            "mode": "NULLABLE",
            "type": "INTEGER"
          }
        ],
        "name": "basic",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "fields": [
              {
                "name": "expression",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "title",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "description",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "location",
                "mode": "NULLABLE",
                "type": "STRING"
              }
            ],
            "name": "expr",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "custom",
        "mode": "NULLABLE",
        "type": "RECORD"
      }
    ],
    "name": "access_level",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "description",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "perimeter_type",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "fields": [
          {
            "name": "resources",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "access_levels",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "restricted_services",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "enable_restriction",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "allowed_services",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "vpc_accessible_services",
            "mode": "NULLABLE",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "access_level",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "resource",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "sources",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "ingress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "ingress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "ingress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "egress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "external_resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "egress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "egress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "status",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "resources",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "access_levels",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "restricted_services",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "enable_restriction",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "allowed_services",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "vpc_accessible_services",
            "mode": "NULLABLE",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "access_level",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "resource",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "sources",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "ingress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "ingress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "ingress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "egress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "external_resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "egress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "egress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "spec",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "name": "use_explicit_dry_run_spec",
        "mode": "NULLABLE",
        "type": "BOOLEAN"
      }
    ],
    "name": "service_perimeter",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Inventário de instância do OSConfig:ao definir o tipo de conteúdo como OS_INVENTORY na API REST ou os-inventory na CLI gcloud, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema do inventário do SO

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "fields": [
          {
            "name": "hostname",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "long_name",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "short_name",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "version",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "architecture",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "kernel_version",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "kernel_release",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "osconfig_agent_version",
            "mode": "NULLABLE",
            "type": "STRING"
          }
        ],
        "name": "os_info",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "key",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "id",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "origin_type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "name": "create_time",
                "mode": "NULLABLE",
                "type": "TIMESTAMP"
              },
              {
                "name": "update_time",
                "mode": "NULLABLE",
                "type": "TIMESTAMP"
              },
              {
                "name": "type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "yum_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "apt_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "googet_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "patch_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "category",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "severity",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "summary",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_patch",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "title",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "id",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "name",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "categories",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      },
                      {
                        "name": "kb_article_ids",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "support_url",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "more_info_urls",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "update_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "revision_number",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "last_deployment_change_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "wua_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "caption",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "hot_fix_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "install_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "qfe_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "cos_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "display_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "display_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "publisher",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "year",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "month",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "day",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          }
                        ],
                        "name": "install_date",
                        "mode": "NULLABLE",
                        "type": "RECORD"
                      },
                      {
                        "name": "help_link",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "windows_application",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  }
                ],
                "name": "installed_package",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "yum_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "apt_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "googet_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "patch_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "category",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "severity",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "summary",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_patch",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "title",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "id",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "name",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "categories",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      },
                      {
                        "name": "kb_article_ids",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "support_url",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "more_info_urls",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "update_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "revision_number",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "last_deployment_change_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "wua_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "caption",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "hot_fix_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "install_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "qfe_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "cos_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "display_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "display_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "publisher",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "year",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "month",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "day",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          }
                        ],
                        "name": "install_date",
                        "mode": "NULLABLE",
                        "type": "RECORD"
                      },
                      {
                        "name": "help_link",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "windows_application",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  }
                ],
                "name": "available_package",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "value",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "items",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "name": "update_time",
        "mode": "NULLABLE",
        "type": "TIMESTAMP"
      }
    ],
    "name": "os_inventory",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Relacionamento:ao definir o tipo de conteúdo como RELATIONSHIP na API REST ou relationship na CLI gcloud, você cria uma tabela do BigQuery com o esquema a seguir.

    Esquema de relacionamento

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "asset",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "asset_type",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "ancestors",
        "mode": "REPEATED",
        "type": "STRING"
      },
      {
        "name": "relationship_type",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "related_asset",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

Exportar um snapshot de recurso

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --output-bigquery-force

Forneça os valores a seguir:

  • SCOPE: use um dos seguintes valores:

    • project=PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • folder=FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: opcional. O ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud está e que tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como configurar o projeto de faturamento.

  • ASSET_TYPE_#: opcional. Uma lista separada por vírgulas de tipos de recursos pesquisáveis. As expressões regulares compatíveis com RE2 são aceitas. Se a expressão regular não corresponder a nenhum tipo de recurso aceito, um erro INVALID_ARGUMENT será retornado. Quando --asset-types não é especificado, todos os tipos de recursos são retornados.
  • CONTENT_TYPE: opcional. O tipo de conteúdo dos metadados que você quer recuperar. Quando --content-type não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato de data e hora do tópico do gcloud. O valor não pode ser de mais de 35 dias. Quando --snapshot-time não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ela será criada.

A flag --output-bigquery-force substitui a tabela de destino, se ela existir.

Consulte a referência da CLI do gcloud para conferir todas as opções.

Exemplo

Execute o comando a seguir para exportar os metadados resource como estavam em 30 de janeiro de 2024 no projeto my-project para a tabela my-table do BigQuery.

gcloud asset export \
    --project=my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --output-bigquery-force

Exemplo de resposta

Export in progress for root asset [projects/my-project].
Use [gcloud asset operations describe projects/000000000000/operations/ExportAssets/RESOURCE/00000000000000000000000000000000] to check the status of the operation.

REST

Método HTTP e URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Cabeçalhos:

X-Goog-User-Project: BILLING_PROJECT_ID

Solicitar corpo JSON:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "force": true
    }
  }
}

Forneça os valores a seguir:

  • SCOPE_PATH: use um dos seguintes valores:

    Os valores permitidos são:

    • projects/PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • projects/PROJECT_NUMBER, em que PROJECT_NUMBER é o número do projeto que tem os metadados do recurso que você quer exportar.

      Como encontrar um número de projeto da nuvem soberana da T-Systems .

      Google Cloud console

      Para encontrar um número de projeto do Google Cloud , siga estas etapas:

      1. Acesse a página Welcome no console Google Cloud .

        Acessar a página de boas-vindas

      2. Clique na caixa de lista switcher na barra de menu.

      3. Selecione sua organização na caixa de lista e pesquise o nome do projeto. O nome, o número e o ID do projeto são mostrados perto do título Welcome.

        Até 4.000 recursos são exibidos. Se você não encontrar o projeto que está procurando, acesse a página Gerenciar recursos e filtre a lista usando o nome dele.

      CLI da gcloud

      É possível extrair um número de projeto do Google Cloud com o seguinte comando:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: o ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como configurar o projeto de faturamento.

  • CONTENT_TYPE: o tipo de conteúdo dos metadados que você quer recuperar. Quando contentType não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato RFC 3339. O valor não pode ser de mais de 35 dias. Quando readTime não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ela será criada.

O par de chave-valor "force": true substitui a tabela de destino, se ela existir.

Consulte a referência REST para conferir todas as opções.

Exemplos de comando

Execute um dos comandos a seguir para exportar os metadados do resource como estavam em 30 de janeiro de 2024 no projeto my-project para a tabela my-table do BigQuery.

curl (Linux, macOS ou Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "force": true
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "force": true
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Exemplo de resposta

{
  "name": "projects/000000000000/operations/ExportAssets/RESOURCE/00000000000000000000000000000000",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.asset.v1.ExportAssetsRequest",
    "parent": "projects/000000000000",
    "readTime": "2024-01-30T00:00:00Z",
    "contentType": "RESOURCE",
    "outputConfig": {
      "bigqueryDestination": {
        "dataset": "projects/my-project/datasets/my-dataset",
        "table": "my-table",
        "force": true
      }
    }
  }
}

Go

Para saber como instalar e usar a biblioteca de cliente do Inventário de recursos do Cloud, consulte Bibliotecas de cliente do Cloud Asset Inventory.

Para autenticar no Inventário de recursos do Cloud, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 


// Sample asset-quickstart exports assets to given bigquery table.
package main

import (
	"context"
	"fmt"
	"log"
	"os"
	"strings"

	asset "cloud.google.com/go/asset/apiv1"
	"cloud.google.com/go/asset/apiv1/assetpb"
)

func main() {
	ctx := context.Background()
	projectID := os.Getenv("GOOGLE_CLOUD_PROJECT")
	client, err := asset.NewClient(ctx)
	if err != nil {
		log.Fatalf("asset.NewClient: %v", err)
	}
	defer client.Close()
	datasetID := strings.Replace(fmt.Sprintf("%s-for-assets", projectID), "-", "_", -1)
	dataset := fmt.Sprintf("projects/%s/datasets/%s", projectID, datasetID)
	req := &assetpb.ExportAssetsRequest{
		Parent: fmt.Sprintf("projects/%s", projectID),
		OutputConfig: &assetpb.OutputConfig{
			Destination: &assetpb.OutputConfig_BigqueryDestination{
				BigqueryDestination: &assetpb.BigQueryDestination{
					Dataset: dataset,
					Table:   "test",
					Force:   true,
				},
			},
		},
	}
	op, err := client.ExportAssets(ctx, req)
	if err != nil {
		log.Fatalf("ExportAssets: %v", err)
	}
	resp, err := op.Wait(ctx)
	if err != nil {
		log.Fatalf("Wait: %v", err)
	}
	fmt.Print(resp)
}

Java

Para saber como instalar e usar a biblioteca de cliente do Inventário de recursos do Cloud, consulte Bibliotecas de cliente do Cloud Asset Inventory.

Para autenticar no Inventário de recursos do Cloud, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

// Imports the Google Cloud client library

import com.google.cloud.ServiceOptions;
import com.google.cloud.asset.v1.AssetServiceClient;
import com.google.cloud.asset.v1.BigQueryDestination;
import com.google.cloud.asset.v1.ContentType;
import com.google.cloud.asset.v1.ExportAssetsRequest;
import com.google.cloud.asset.v1.ExportAssetsRequest.Builder;
import com.google.cloud.asset.v1.ExportAssetsResponse;
import com.google.cloud.asset.v1.OutputConfig;
import com.google.cloud.asset.v1.PartitionSpec;
import com.google.cloud.asset.v1.ProjectName;
import java.io.IOException;
import java.util.Arrays;
import java.util.concurrent.ExecutionException;

public class ExportAssetsBigqueryExample {

  // Use the default project Id.
  private static final String projectId = ServiceOptions.getDefaultProjectId();

  /** 
   * Export assets to BigQuery for a project.

   * @param bigqueryDataset which dataset the results will be exported to
   * @param bigqueryTable which table the results will be exported to
   * @param contentType determines the schema for the table
   * @param assetTypes a list of asset types to export. if empty, export all.
   * @param isPerType separate BigQuery tables for each resource type
   */
  public static void exportBigQuery(String bigqueryDataset, String bigqueryTable,
      ContentType contentType, String[] assetTypes, boolean isPerType)
      throws IOException, IllegalArgumentException, InterruptedException, ExecutionException {
    try (AssetServiceClient client = AssetServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      OutputConfig outputConfig;
      // Outputs to per-type BigQuery table.
      if (isPerType) {
        outputConfig =
            OutputConfig.newBuilder()
                .setBigqueryDestination(
                    BigQueryDestination.newBuilder()
                        .setDataset(bigqueryDataset)
                        .setTable(bigqueryTable)
                        .setForce(true)
                        .setSeparateTablesPerAssetType(true)
                        .setPartitionSpec(
                            PartitionSpec.newBuilder()
                                .setPartitionKey(PartitionSpec.PartitionKey.READ_TIME)
                                .build())
                        .build())
                .build();
      } else {
        outputConfig =
            OutputConfig.newBuilder()
                .setBigqueryDestination(
                    BigQueryDestination.newBuilder()
                        .setDataset(bigqueryDataset)
                        .setTable(bigqueryTable)
                        .setForce(true)
                        .build())
                .build();
      }
      Builder exportAssetsRequestBuilder = ExportAssetsRequest.newBuilder()
          .setParent(parent.toString()).setContentType(contentType).setOutputConfig(outputConfig);
      if (assetTypes.length > 0) {
        exportAssetsRequestBuilder.addAllAssetTypes(Arrays.asList(assetTypes));
      }
      ExportAssetsRequest request = exportAssetsRequestBuilder.build();
      ExportAssetsResponse response = client.exportAssetsAsync(request).get();
      System.out.println(response);
    }
  }
}

Node.js

Para saber como instalar e usar a biblioteca de cliente do Inventário de recursos do Cloud, consulte Bibliotecas de cliente do Cloud Asset Inventory.

Para autenticar no Inventário de recursos do Cloud, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const dataSet = 'projects/project_id/datasets/dataset_id';
// const table = 'mytable';

const {AssetServiceClient} = require('@google-cloud/asset');
const client = new AssetServiceClient();

async function exportAssetsBigquery() {
  const projectId = await client.getProjectId();
  const projectResource = client.projectPath(projectId);
  const dataset = dataSet;

  const request = {
    parent: projectResource,
    outputConfig: {
      bigqueryDestination: {
        dataset: `projects/${projectId}/${dataset}`,
        table: table,
        force: true,
      },
    },
  };

  // Handle the operation using the promise pattern.
  const [operation] = await client.exportAssets(request);

  // Operation#promise starts polling for the completion of the operation.
  const [result] = await operation.promise();

  // Do things with with the response.
  console.log(result);
}

exportAssetsBigquery();

Python

Para saber como instalar e usar a biblioteca de cliente do Inventário de recursos do Cloud, consulte Bibliotecas de cliente do Cloud Asset Inventory.

Para autenticar no Inventário de recursos do Cloud, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

from google.cloud import asset_v1

# TODO project_id = 'Your Google Cloud Project ID'
# TODO dataset = 'Your BigQuery dataset path'
# TODO table = 'Your BigQuery table name'
# TODO content_type ="Content type to export"

client = asset_v1.AssetServiceClient()
parent = f"projects/{project_id}"
output_config = asset_v1.OutputConfig()
output_config.bigquery_destination.dataset = dataset
output_config.bigquery_destination.table = table
output_config.bigquery_destination.force = True
response = client.export_assets(
    request={
        "parent": parent,
        "content_type": content_type,
        "output_config": output_config,
    }
)
print(response.result())

Exportar um snapshot de recurso para tabelas separadas de cada tipo de recurso

É possível exportar recursos para tabelas separadas do BigQuery para cada tipo de recurso com a flag --per-asset-type na CLI gcloud e "separateTablesPerAssetType": true nas solicitações da API REST.

Nesse modo, o nome de cada tabela é TABLE_NAME concatenado com _ (sublinhado) e o nome do tipo de recurso. Os caracteres não alfanuméricos são substituídos por _.

Se a exportação para qualquer tabela falhar, toda a operação de exportação falhará e retornará o primeiro erro. Os resultados das exportações anteriores bem-sucedidas são mantidos.

Os tipos a seguir são agrupados em uma string JSON para superar um problema de compatibilidade entre Proto3 e tipos do BigQuery.

  • google.protobuf.Timestamp

  • google.protobuf.Duration

  • google.protobuf.FieldMask

  • google.protobuf.ListValue

  • google.protobuf.Value

  • google.protobuf.Struct

  • google.api.*

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --per-asset-type \
    --output-bigquery-force

Forneça os valores a seguir:

  • SCOPE: use um dos seguintes valores:

    • project=PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • folder=FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: opcional. O ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud está e que tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como configurar o projeto de faturamento.

  • ASSET_TYPE_#: opcional. Uma lista separada por vírgulas de tipos de recursos pesquisáveis. As expressões regulares compatíveis com RE2 são aceitas. Se a expressão regular não corresponder a nenhum tipo de recurso compatível, um erro INVALID_ARGUMENT será retornado. Quando --asset-types não é especificado, todos os tipos de recurso são retornados.
  • CONTENT_TYPE: opcional. O tipo de conteúdo dos metadados que você quer recuperar. Quando --content-type não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato de data e hora do tópico do gcloud. O valor não pode ser de mais de 35 dias. Quando --snapshot-time não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ela será criada.

A flag --output-bigquery-force substitui a tabela de destino, se ela existir.

Consulte a referência da CLI do gcloud para conferir todas as opções.

Exemplo

Execute o comando a seguir para exportar os metadados resource como estavam em 30 de janeiro de 2024 no projeto my-project para várias tabelas do BigQuery que têm my-table como prefixo.

gcloud asset export \
    --project=my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --per-asset-type \
    --output-bigquery-force

REST

Método HTTP e URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Cabeçalhos:

X-Goog-User-Project: BILLING_PROJECT_ID

Solicitar corpo JSON:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "force": true,
      "separateTablesPerAssetType": true
    }
  }
}

Forneça os valores a seguir:

  • SCOPE_PATH: use um dos seguintes valores:

    Os valores permitidos são:

    • projects/PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • projects/PROJECT_NUMBER, em que PROJECT_NUMBER é o número do projeto que tem os metadados do recurso que você quer exportar.

      Como encontrar um número de projeto da nuvem soberana da T-Systems do Google Cloud

      Google Cloud console

      Para encontrar um número de projeto do Google Cloud , siga estas etapas:

      1. Acesse a página Welcome no console Google Cloud .

        Acessar a página de boas-vindas

      2. Clique na caixa de lista switcher na barra de menu.

      3. Selecione sua organização na caixa de lista e pesquise o nome do projeto. O nome, o número e o ID do projeto são mostrados perto do título Welcome.

        Até 4.000 recursos são exibidos. Se você não encontrar o projeto que está procurando, acesse a página Gerenciar recursos e filtre a lista usando o nome dele.

      CLI da gcloud

      É possível extrair um número de projeto do Google Cloud com o seguinte comando:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: o ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como configurar o projeto de faturamento.

  • CONTENT_TYPE: o tipo de conteúdo dos metadados que você quer recuperar. Quando contentType não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato RFC 3339. O valor não pode ser de mais de 35 dias. Quando readTime não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ela será criada.

O par de chave-valor "force": true substitui a tabela de destino, se ela existir.

Exemplos de comando

Execute um dos comandos a seguir para exportar os metadados resource como estavam em 30 de janeiro de 2024 no projeto my-project para várias tabelas do BigQuery que têm my-table como prefixo.

curl (Linux, macOS ou Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "force": true,
                "separateTablesPerAssetType": true
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "force": true,
      "separateTablesPerAssetType": true
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Exportar um snapshot de recurso para uma tabela particionada por coluna de unidade de tempo

É possível exportar recursos em um projeto para tabelas particionadas de colunas de unidade de tempo. O snapshot exportado é armazenado em uma tabela do BigQuery chamada TABLE_NAME com granularidade diária e duas colunas de carimbo de data/hora adicionais, readTime e requestTime, sendo que uma delas é especificada como a coluna de partição com o valor PARTITION_KEY.

Para exportar recursos em um projeto para tabelas particionadas, faça uma das seguintes solicitações.

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --partition-key=PARTITION_KEY \
    --output-bigquery-force

Forneça os valores a seguir:

  • SCOPE: use um dos seguintes valores:

    • project=PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • folder=FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: opcional. O ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud está e que tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como configurar o projeto de faturamento.

  • ASSET_TYPE_#: opcional. Uma lista separada por vírgulas de tipos de recursos pesquisáveis. As expressões regulares compatíveis com RE2 são aceitas. Se a expressão regular não corresponder a nenhum tipo de recurso aceito, um erro INVALID_ARGUMENT será retornado. Quando --asset-types não é especificado, todos os tipos de recurso são retornados.
  • CONTENT_TYPE: opcional. O tipo de conteúdo dos metadados que você quer recuperar. Quando --content-type não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato de data e hora do tópico do gcloud. O valor não pode ser de mais de 35 dias. Quando --snapshot-time não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ela será criada.

  • PARTITION_KEY: a coluna da chave de partição ao exportar para tabelas particionadas do BigQuery. Os valores válidos são read-time e request-time.

A flag --output-bigquery-force substitui os dados na partição correspondente na tabela de destino. Os dados em partições diferentes permanecem intactos.

Se --output-bigquery-force não for especificado, os dados exportados serão anexados à partição correspondente.

A operação de exportação falhará se houver falha na atualização do esquema ou na tentativa de anexar dados. Isso inclui se a tabela de destino já existe e não tem o esquema esperado pela exportação.

Consulte a referência da CLI do gcloud para conferir todas as opções.

Exemplo

Execute o comando a seguir para exportar os metadados resource como estavam em 30 de janeiro de 2024 no projeto my-project para a tabela my-table do BigQuery.

gcloud asset export \
    --project=projects/my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --partition-key=my-partition-key \
    --output-bigquery-force

REST

Método HTTP e URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Cabeçalhos:

X-Goog-User-Project: BILLING_PROJECT_ID

Solicitar corpo JSON:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "partitionSpec": {
        "partitionKey": "PARTITION_KEY"
      },
      "force": true,
    }
  }
}

Forneça os valores a seguir:

  • SCOPE_PATH: use um dos seguintes valores:

    Os valores permitidos são:

    • projects/PROJECT_ID, em que PROJECT_ID é o ID do projeto que tem os metadados do recurso que você quer exportar.

    • projects/PROJECT_NUMBER, em que PROJECT_NUMBER é o número do projeto que tem os metadados do recurso que você quer exportar.

      Como encontrar um número de projeto do Google Cloud

      Google Cloud console

      Para encontrar um número de projeto do Google Cloud , siga estas etapas:

      1. Acesse a página Welcome no console Google Cloud .

        Acessar a página de boas-vindas

      2. Clique na caixa de lista switcher na barra de menu.

      3. Selecione sua organização na caixa de lista e pesquise o nome do projeto. O nome, o número e o ID do projeto são mostrados perto do título Welcome.

        Até 4.000 recursos são exibidos. Se você não encontrar o projeto que está procurando, acesse a página Gerenciar recursos e filtre a lista usando o nome dele.

      CLI da gcloud

      É possível extrair um número de projeto do Google Cloud com o seguinte comando:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, em que FOLDER_ID é o ID da pasta que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma pasta do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma pasta do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Pesquise o nome da pasta. O ID da pasta é mostrado ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma pasta do Google Cloud que está no nível da organização com o seguinte comando:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Em que TOP_LEVEL_FOLDER_NAME é uma correspondência de string parcial ou completa para o nome da pasta. Remova a flag --format para conferir mais informações sobre as pastas encontradas.

      O comando anterior não retorna os IDs das subpastas dentro das pastas. Para fazer isso, execute o comando abaixo usando o ID de uma pasta de nível superior:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, em que ORGANIZATION_ID é o ID da organização que tem os metadados do recurso que você quer exportar.

      Como encontrar o ID de uma organização do Google Cloud

      Google Cloud console

      Para encontrar o ID de uma organização do Google Cloud , siga estas etapas:

      1. Acesse o console Google Cloud .

        Acesse o console do Google Cloud

      2. Clique na caixa de lista switcher na barra de menu.
      3. Selecione sua organização no campo de lista.
      4. Selecione a guia Todos. O ID da organização aparece ao lado do nome dela.

      CLI da gcloud

      É possível extrair o ID de uma organização do Google Cloud com o seguinte comando:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: o ID do projeto em que o agente de serviço padrão do Inventário de recursos do Cloud tem permissões para gerenciar seus conjuntos de dados e tabelas do BigQuery. Saiba mais sobre como definir o projeto de faturamento.

  • CONTENT_TYPE: o tipo de conteúdo dos metadados que você quer recuperar. Quando contentType não é especificado, apenas informações básicas são retornadas, como nomes de recursos, a última vez que os recursos foram atualizados e a quais projetos, pastas e organizações eles pertencem.
  • RELATIONSHIP_TYPE_#: opcional. Requer acesso ao nível Premium ou Enterprise do Security Command Center, ou ao Gemini Cloud Assist. Uma lista separada por vírgulas de tipos de relacionamento de recursos que você quer recuperar. Defina CONTENT_TYPE como RELATIONSHIP para que isso funcione.
  • SNAPSHOT_TIME: opcional. O horário em que você quer tirar um snapshot dos seus recursos, no formato RFC 3339. O valor não pode ser de mais de 35 dias. Quando readTime não é especificado, um snapshot é capturado no horário atual.
  • BIGQUERY_PROJECT_ID: o ID do projeto para onde você quer exportar a tabela do BigQuery.
  • DATASET_ID: o ID do conjunto de dados do BigQuery.
  • TABLE_NAME: a tabela do BigQuery para a qual você está exportando os metadados. Se não existir, ele será criado.

  • PARTITION_KEY: a coluna da chave de partição ao exportar para tabelas particionadas do BigQuery. Os valores válidos são READ_TIME e REQUEST_TIME.

O par de chave-valor "force": true substitui os dados na partição correspondente na tabela de destino. Os dados em partições diferentes permanecem intactos.

Se force não estiver definido ou estiver definido como false, os dados exportados serão anexados à partição correspondente.

A operação de exportação falhará se houver falha na atualização do esquema ou na tentativa de anexar dados. Isso inclui se a tabela de destino já existe e não tem o esquema esperado pela exportação.

Exemplos de comando

Execute um dos comandos a seguir para exportar os metadados do resource como estavam em 30 de janeiro de 2024 no projeto my-project para a tabela my-table do BigQuery.

curl (Linux, macOS ou Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "partitionSpec": {
                  "partitionKey": "my-partition-key"
                },
                "force": true,
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "partitionSpec": {
        "partitionKey": "my-partition-key"
      },
      "force": true,
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Verificar o status de uma exportação

As exportações levam tempo para serem concluídas. Para verificar se uma exportação foi concluída, consulte a operação usando o ID dela.

Mesmo que a exportação seja concluída, alguém pode ter feito outra solicitação de exportação para o mesmo destino em uma operação diferente. Novas solicitações de exportação para o mesmo destino podem ser feitas depois que uma solicitação anterior for concluída ou se mais de 15 minutos tiverem se passado. As solicitações de exportação feitas fora dessas condições são rejeitadas pelo Inventário de recursos do Cloud.

gcloud

Para conferir o status da exportação, siga estas instruções:

  1. Receba o OPERATION_PATH, que inclui o ID da operação, da resposta à solicitação de exportação. O OPERATION_PATH é mostrado na resposta à exportação, que tem a seguinte formatação:

    projects/PROJECT_NUMBER/operations/ExportAssets/CONTENT_TYPE/OPERATION_ID

  2. Para verificar o status da exportação, execute o seguinte comando com OPERATION_PATH:

    gcloud asset operations describe OPERATION_PATH

REST

Para conferir o status da exportação, siga estas instruções:

  1. Receba o OPERATION_PATH, que inclui o ID da operação, da resposta à solicitação de exportação. O OPERATION_PATH é mostrado como o valor do campo name na resposta à exportação, que tem a seguinte formatação:

    projects/PROJECT_NUMBER/operations/ExportAssets/CONTENT_TYPE/OPERATION_ID

  2. Para verificar o status da exportação, faça a seguinte solicitação.

    REST

    Método HTTP e URL:

    GET https://cloudasset.googleapis.com/v1/OPERATION_PATH

    Exemplos de comando

    curl (Linux, macOS ou Cloud Shell)

    curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     https://cloudasset.googleapis.com/v1/OPERATION_PATH

    PowerShell (Windows)

    $cred = gcloud auth print-access-token

$headers = @{ 
  "Authorization" = "Bearer $cred"
}


Invoke-WebRequest `
  -Method GET `
  -Headers $headers `
  -Uri "https://cloudasset.googleapis.com/v1/OPERATION_PATH" | Select-Object -Expand Content

Conferir um instantâneo de recurso no BigQuery

Console

  1. Acesse a página BigQuery Studio no console do Google Cloud .

    Acessar o BigQuery Studio

  2. Para exibir as tabelas e visualizações no conjunto de dados, abra o painel de navegação. Na seção Recursos, selecione o projeto para expandi-lo e, em seguida, um conjunto de dados.

  3. Na lista, selecione a tabela.

  4. Selecione Detalhes e anote o valor em Número de linhas. Talvez você precise desse valor para controlar o ponto de partida dos seus resultados usando a CLI gcloud ou a API REST.

  5. Para visualizar um conjunto de dados de amostra, selecione Visualizar.

REST

Para procurar os dados da tabela, chame tabledata.list. No parâmetro tableId, especifique o nome da tabela.

É possível configurar os seguintes parâmetros opcionais para controlar a saída.

  • maxResults é o número máximo de resultados a serem retornados.

  • selectedFields é uma lista de colunas separadas por vírgulas a ser retornada. Se não for especificado, todas as colunas serão retornadas.

  • startIndex é o índice baseado em zero da primeira linha a ser lida.

Os valores são retornados incorporados em um objeto JSON para análise, conforme descrito na documentação de referência de tabledata.list.

Consultar um snapshot de um recurso no BigQuery

Depois de exportar seu snapshot para o BigQuery, é possível executar consultas nos metadados do recurso.

Por padrão, o BigQuery executa jobs de consulta interativa ou sob demanda, o que significa que ela é executada o mais rápido possível. Essas consultas são realizadas de acordo com o limite de taxa simultânea e o limite de taxa diária.

Os resultados da consulta são salvos em uma tabela temporária ou permanente. É possível anexar ou substituir dados em uma tabela atual ou criar uma nova tabela, se não houver nenhuma com o mesmo nome.

Para executar uma consulta interativa que grava a saída em uma tabela temporária, conclua as etapas a seguir.

Console

  1. Acesse a página BigQuery Studio no console do Google Cloud .

    Acessar o BigQuery Studio

  2. Selecione Escrever nova consulta.

  3. Na área de texto do Editor de consultas, insira uma consulta SQL do BigQuery válida.

  4. Opcional: para mudar o local de processamento de dados, siga as etapas abaixo.

    1. Selecione Mais e, em seguida, selecione Configurações de consulta.

    2. Em Local de processamento, selecione Seleção automática e escolha o local dos dados.

    3. Para atualizar as configurações de consulta, selecione Salvar.

  5. Selecione Executar.

REST

  1. Para iniciar um novo job, chame o método jobs.insert. No recurso do job, defina os parâmetros a seguir.

    • No campo configuration, defina query como um JobConfigurationQuery que descreve o job de consulta do BigQuery.

    • No campo jobReference, defina location como apropriado para seu job.

  2. Para pesquisar resultados, chame getQueryResults. Pesquisar até jobComplete igual a true. É possível verificar se há erros e avisos na lista errors.

Outros exemplos de consulta SQL

Esta seção apresenta exemplos de consultas SQL para analisar os metadados do recurso depois de exportá-los para o BigQuery. Consulte a sintaxe de consulta do SQL padrão para mais informações.

Consultar as colunas disponíveis diretamente

Para encontrar a quantidade de cada tipo de recurso, execute a seguinte consulta:

SELECT asset_type, COUNT(*) AS asset_count
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
GROUP BY asset_type
ORDER BY asset_count DESC

Trabalhar com campos repetidos

Para encontrar as políticas do Identity and Access Management (IAM) que concedem acesso a contas do Gmail, execute a consulta a seguir. O BigQuery usa UNNEST para nivelar campos repetidos em uma tabela que pode ser consultada diretamente:

SELECT name, asset_type, bindings.role
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
JOIN UNNEST(iam_policy.bindings) AS bindings
JOIN UNNEST(bindings.members) AS principals
WHERE principals like "%@gmail.com"

Para encontrar uma organização, pasta ou projeto que permita criar usando um endereço IP público, execute a consulta a seguir. Essa consulta é útil porque permitir endereços IP públicos com instâncias do Cloud SQL pode introduzir vulnerabilidades, a menos que o SSL ou um proxy esteja configurado:

SELECT name
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
JOIN UNNEST(org_policy) AS op
WHERE
  op.constraint = "constraints/sql.restrictPublicIp"
  AND (op.boolean_policy IS NULL OR op.boolean_policy.enforced = FALSE);

Para encontrar uma organização, pasta ou projeto no mesmo perímetro de serviço do VPC Service Controls de um projeto, execute a consulta a seguir:

SELECT service_perimeter.title, service_perimeter.status.resources
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
CROSS JOIN UNNEST(service_perimeter.status.resources) as resource
WHERE resource = "projects/PROJECT_ID";

Trabalhar com strings JSON

Para encontrar regras de firewall abertas, execute a seguinte consulta. Saiba mais sobre as funções JSON usadas no BigQuery.

CREATE TEMP FUNCTION json2array(json STRING)
RETURNS ARRAY<STRING>
LANGUAGE js AS """
  return JSON.parse(json).map(x=>JSON.stringify(x));
""";

SELECT firewall.name, firewall.resource.parent, JSON_EXTRACT(firewall.resource.data, '$.sourceRanges') AS sourceRanges
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` AS firewall
JOIN UNNEST(json2array(JSON_EXTRACT(firewall.resource.data, '$.sourceRanges'))) AS source_ranges
WHERE asset_type="compute.googleapis.com/Firewall" AND JSON_EXTRACT(firewall.resource.data, '$.sourceRanges') IS NOT NULL AND JSON_EXTRACT_SCALAR(source_ranges, '$') = "0.0.0.0/0"

Ao separar tabelas para cada tipo de recurso, é possível encontrar regras de firewall abertas com uma consulta mais fácil e rápida.

SELECT firewall.name, firewall.resource.parent, sourceRanges
FROM `PROJECT_ID.DATASET_ID.STRUCTURED_INSTANCE_TABLE_NAME` AS firewall
JOIN UNNEST(firewall.resource.data.sourceRanges) AS sourceRanges
WHERE sourceRanges = "0.0.0.0/0";

Mesclar tabelas de diferentes tipos de recursos

Para mesclar tabelas de diferentes tipos de recursos, execute a seguinte consulta. O exemplo a seguir mostra como encontrar todas as sub-redes que não têm VM anexada. Primeiro, a consulta encontra todas as sub-redes. Em seguida, ela seleciona as sub-redes em que os valores de selfLink não estão presentes.

CREATE TEMP FUNCTION json2array(json STRING)
RETURNS ARRAY<STRING>
LANGUAGE js AS """
  return JSON.parse(json).map(x=>JSON.stringify(x));
""";

SELECT name, JSON_EXTRACT(subnetwork.resource.data, '$.selfLink') AS selflink
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` AS subnetwork
WHERE asset_type = "compute.googleapis.com/Subnetwork" AND (JSON_EXTRACT(subnetwork.resource.data, '$.selfLink') NOT IN
(SELECT DISTINCT JSON_EXTRACT(network_interfaces, '$.subnetwork')
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` as instance
JOIN UNNEST(json2array(JSON_EXTRACT(instance.resource.data, '$.networkInterfaces'))) AS network_interfaces
WHERE asset_type ="compute.googleapis.com/Instance"
AND JSON_EXTRACT(instance.resource.data, '$.networkInterfaces') IS NOT NULL
)) IS NULL

Ao separar tabelas para cada tipo de recurso, você pode encontrar todas as sub-redes que não têm uma VM anexada com uma consulta mais fácil e rápida.

SELECT name, subnetwork.resource.data.selfLink
FROM `PROJECT_ID.DATASET_ID.STRUCTURED_SUBNETWORK_TABLE_NAME` AS subnetwork
WHERE
  (
    subnetwork.resource.data.selfLink
      NOT IN (
        SELECT DISTINCT networkInterface.subnetwork
        FROM `PROJECT_ID.DATASET_ID.STRUCTURED_INSTANCE_TABLE_NAME` as instance
        JOIN
          UNNEST(instance.resource.data.networkInterfaces) AS networkInterface
        WHERE
          networkInterface IS NOT NULL
      )
  ) IS NULL;

Encontrar clusters do Dataproc vulneráveis devido ao CVE-2021-44228

CREATE TEMP FUNCTION vulnerable_version(imageVersion STRING)
RETURNS BOOL
LANGUAGE js AS r"""
    const version_regexp = /(?<major>\d+)(?:\.)(?<minor>\d+)(?:\.)?(?<sub>\d+)?/g;
    let match = version_regexp.exec(imageVersion);
    if(match.groups.major < 1){
        return true;
    }
    if (match.groups.major == 1){
        if (match.groups.minor < 3){
            return true;
        }
        if(match.groups.minor == 3 &amp;&amp; match.groups.sub < 95){
            return true;
        }
        if(match.groups.minor == 4 &amp;&amp; match.groups.sub < 77){
            return true;
        }
        if(match.groups.minor == 5 &amp;&amp; match.groups.sub < 53){
            return true;
        }
    }
    if (match.groups.major == 2 &amp;&amp; match.groups.minor == 0 &amp;&amp; match.groups.sub < 27){
        return true;
    }
    return false;
""";

SELECT
  c.name,
  c.resource.data.projectId AS project_id,
  c.resource.data.clusterName AS cluster_name,
  c.resource.data.config.softwareConfig.imageVersion AS image_version,
  c.resource.data.status.state AS cluster_state,
  vulnerable_version(c.resource.data.config.softwareConfig.imageVersion) AS is_vulnerable
FROM
  `PROJECT_ID.DATASET_ID.TABLE_NAME_PREFIX_dataproc_googleapis_com_Cluster` c
  INNER JOIN `PROJECT_ID.DATASET_ID.TABLE_NAME_PREFIX_cloudresourcemanager_googleapis_com_Project` p
    ON p.resource.data.projectId = c.resource.data.projectId
WHERE
  c.resource.data.config.softwareConfig.imageVersion IS NOT NULL
  AND c.resource.data.status.state = "RUNNING"
  AND p.resource.data.lifecycleState = "ACTIVE";