Asset-Metadaten nach BigQuery exportieren

In diesem Dokument erfahren Sie, wie Sie einen Asset-Snapshot aus Ihrer Organisation, Ihrem Ordner oder Ihrem Projekt in eine BigQuery exportieren und dann eine Datenanalyse für Ihr Inventar durchführen. BigQuery bietet eine SQL-ähnliche Erfahrung, in der Nutzer Daten analysieren und wertvolle Informationen gewinnen können, ohne benutzerdefinierte Skripts zu verwenden.

Hinweise

  1. Aktivieren Sie die Cloud Asset Inventory API in dem Projekt, in dem Sie Cloud Asset Inventory-Befehle ausführen.

    Cloud Asset Inventory API aktivieren

  2. Prüfen Sie, ob Ihr Konto die richtige Rolle zum Aufrufen der Cloud Asset Inventory API hat. Informationen zu den einzelnen Berechtigungen für jeden Anruftyp finden Sie unter Berechtigungen.

  3. Erstellen Sie ein BigQuery-Dataset, in das Sie exportieren möchten, falls Sie noch keines haben.

Beschränkungen

  • Beim Exportieren von BigQuery-Tabellendaten werden nicht alle Felder von Cloud Asset Inventory unterstützt.

  • Asset-Felder, die sich häufig ändern, wie numBytes, numLongTermBytes, numPhysicalBytes und numRows, können mit dem Wert null exportiert werden.

  • Der Export in geclusterte BigQuery-Tabellen wird nicht unterstützt.

  • BigQuery-Tabellen, die mit benutzerdefinierten Cloud KMS-Schlüsseln (Cloud Key Management Service) verschlüsselt sind, werden nicht unterstützt.

  • Das Anfügen einer Exportausgabe an eine vorhandene Tabelle wird nur unterstützt, wenn Sie in eine partitionierte Tabelle exportieren. Die Zieltabelle muss leer sein oder muss überschrieben werden. Verwenden Sie zum Überschreiben das Flag --output-bigquery-force mit der gcloud CLI oder verwenden Sie "force": true mit der REST API.

  • Google Kubernetes Engine-Ressourcentypen (GKE), mit Ausnahme von container.googleapis.com/Cluster und container.googleapis.com/NodePool, werden beim Exportieren in separate Tabellen für jeden Ressourcentyp nicht unterstützt.

  • Cloud Asset Inventory lehnt Exportanfragen ab, wenn eine vorherige Anfrage an dasselbe Ziel vor weniger als 15 Minuten gestartet wurde und noch läuft. Wenn ein Export jedoch länger als 15 Minuten gedauert hat, wird er als abgeschlossen markiert und neue Exportanfragen an dasselbe Ziel sind zulässig.

  • Der Inhaltstyp ACCESS_POLICY kann nur auf Organisationsebene exportiert werden.

  • Wenn die Tabelle, in die Sie exportieren, bereits vorhanden ist und gerade exportiert wird, wird der Fehler 400 zurückgegeben.

Für den Export verwendete BigQuery-Schemas

Jede BigQuery-Tabelle wird durch ein Schema definiert, das unter anderem Informationen zu Spaltennamen und Datentypen enthält. Durch das Festlegen des Inhaltstyps für einen Export wird das Schema für die Tabelle bestimmt:

  • Ressource oder nicht spezifiziert:Wenn Sie den Inhaltstyp auf RESOURCE setzen oder nicht angeben und das Flag per-asset-type auf false setzen oder nicht verwenden, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    Ressourcenschema

    [
  {
    "name": "name",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  {
    "name": "asset_type",
    "type": "STRING",
    "mode": "NULLABLE"
  },
  {
    "name": "resource",
    "type": "RECORD",
    "mode": "NULLABLE",
    "fields": [
      {
        "name": "version",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "discovery_document_uri",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "discovery_name",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "resource_url",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "parent",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "data",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "location",
        "type": "STRING",
        "mode": "NULLABLE"
      }
    ]
  },
  {
    "name": "ancestors",
    "type": "STRING",
    "mode": "REPEATED"
  },
  {
    "name": "update_time",
    "type": "TIMESTAMP",
    "mode": "NULLABLE"
  }
]

    Die Spalte resource.data enthält die Ressourcenmetadaten als JSON-String.

    Wenn Sie den Inhaltstyp auf RESOURCE festlegen oder nicht festlegen und das Flag per-asset-type auf true setzen, werden separate Tabellen für jeden Asset-Typ erstellt. Das Schema jeder Tabelle enthält Spalten vom Typ RECORD, die den verschachtelten Feldern im Feld Resource.data dieses Asset-Typs zugeordnet sind (bis zu 15 Ebenen von BigQuery unterstützten verschachtelten Ebenen). Beispieltabellen finden Sie unter export-assets-examples in der Google Cloud -Console.

  • IAM-Richtlinie: Wenn Sie den Inhaltstyp IAM_POLICY in der REST API oder iam-policy in der gcloud CLI festlegen, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    IAM-Richtlinienschema

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "version",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "fields": [
          {
            "name": "role",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "members",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "expression",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "title",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "description",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "location",
                "mode": "NULLABLE",
                "type": "STRING"
              }
            ],
            "name": "condition",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "bindings",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "service",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "log_type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "name": "exempted_members",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "audit_log_configs",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "audit_configs",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "iam_policy",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Organisationsrichtlinie: Wenn Sie den Inhaltstyp ORG_POLICY in der REST API oder org-policy in der gcloud CLI festlegen, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    Schema für Organisationsrichtlinien

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "version",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "name": "constraint",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "update_time",
        "mode": "NULLABLE",
        "type": "TIMESTAMP"
      },
      {
        "fields": [
          {
            "name": "allowed_values",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "denied_values",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "all_values",
            "mode": "NULLABLE",
            "type": "INTEGER"
          },
          {
            "name": "suggested_value",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "inherit_from_parent",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "list_policy",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "enforced",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "boolean_policy",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "_present",
            "mode": "NULLABLE",
            "type": "BOOLEAN"
          }
        ],
        "name": "restore_default",
        "mode": "NULLABLE",
        "type": "RECORD"
      }
    ],
    "name": "org_policy",
    "mode": "REPEATED",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • VPCSC-Richtlinie: Wenn Sie den Inhaltstyp ACCESS_POLICY in der REST API oder access-policy in der gcloud CLI festlegen, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    VPCSC-Richtlinienschema

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "parent",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "scopes",
        "mode": "REPEATED",
        "type": "STRING"
      },
      {
        "name": "etag",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "access_policy",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "description",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "fields": [
          {
            "fields": [
              {
                "name": "ip_subnetworks",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "fields": [
                  {
                    "name": "require_screenlock",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  },
                  {
                    "name": "allowed_encryption_statuses",
                    "mode": "REPEATED",
                    "type": "INTEGER"
                  },
                  {
                    "fields": [
                      {
                        "name": "os_type",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "minimum_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "require_verified_chrome_os",
                        "mode": "NULLABLE",
                        "type": "BOOLEAN"
                      }
                    ],
                    "name": "os_constraints",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "allowed_device_management_levels",
                    "mode": "REPEATED",
                    "type": "INTEGER"
                  },
                  {
                    "name": "require_admin_approval",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  },
                  {
                    "name": "require_corp_owned",
                    "mode": "NULLABLE",
                    "type": "BOOLEAN"
                  }
                ],
                "name": "device_policy",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "name": "required_access_levels",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "name": "negate",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "members",
                "mode": "REPEATED",
                "type": "STRING"
              },
              {
                "name": "regions",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "conditions",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "name": "combining_function",
            "mode": "NULLABLE",
            "type": "INTEGER"
          }
        ],
        "name": "basic",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "fields": [
              {
                "name": "expression",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "title",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "description",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "location",
                "mode": "NULLABLE",
                "type": "STRING"
              }
            ],
            "name": "expr",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "custom",
        "mode": "NULLABLE",
        "type": "RECORD"
      }
    ],
    "name": "access_level",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "title",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "description",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "perimeter_type",
        "mode": "NULLABLE",
        "type": "INTEGER"
      },
      {
        "fields": [
          {
            "name": "resources",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "access_levels",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "restricted_services",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "enable_restriction",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "allowed_services",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "vpc_accessible_services",
            "mode": "NULLABLE",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "access_level",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "resource",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "sources",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "ingress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "ingress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "ingress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "egress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "external_resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "egress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "egress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "status",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "resources",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "access_levels",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "name": "restricted_services",
            "mode": "REPEATED",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "enable_restriction",
                "mode": "NULLABLE",
                "type": "BOOLEAN"
              },
              {
                "name": "allowed_services",
                "mode": "REPEATED",
                "type": "STRING"
              }
            ],
            "name": "vpc_accessible_services",
            "mode": "NULLABLE",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "access_level",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "resource",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "sources",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "ingress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "ingress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "ingress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          },
          {
            "fields": [
              {
                "fields": [
                  {
                    "name": "identities",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "name": "identity_type",
                    "mode": "NULLABLE",
                    "type": "INTEGER"
                  }
                ],
                "name": "egress_from",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "name": "resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  },
                  {
                    "fields": [
                      {
                        "name": "service_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "method",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "permission",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "method_selectors",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      }
                    ],
                    "name": "operations",
                    "mode": "REPEATED",
                    "type": "RECORD"
                  },
                  {
                    "name": "external_resources",
                    "mode": "REPEATED",
                    "type": "STRING"
                  }
                ],
                "name": "egress_to",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "egress_policies",
            "mode": "REPEATED",
            "type": "RECORD"
          }
        ],
        "name": "spec",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "name": "use_explicit_dry_run_spec",
        "mode": "NULLABLE",
        "type": "BOOLEAN"
      }
    ],
    "name": "service_perimeter",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • OSConfig-Instanzinventar:Wenn Sie den Inhaltstyp OS_INVENTORY in der REST API oder os-inventory in der gcloud CLI festlegen, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    OS Inventory-Schema

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "name",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "fields": [
          {
            "name": "hostname",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "long_name",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "short_name",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "version",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "architecture",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "kernel_version",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "kernel_release",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "name": "osconfig_agent_version",
            "mode": "NULLABLE",
            "type": "STRING"
          }
        ],
        "name": "os_info",
        "mode": "NULLABLE",
        "type": "RECORD"
      },
      {
        "fields": [
          {
            "name": "key",
            "mode": "NULLABLE",
            "type": "STRING"
          },
          {
            "fields": [
              {
                "name": "id",
                "mode": "NULLABLE",
                "type": "STRING"
              },
              {
                "name": "origin_type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "name": "create_time",
                "mode": "NULLABLE",
                "type": "TIMESTAMP"
              },
              {
                "name": "update_time",
                "mode": "NULLABLE",
                "type": "TIMESTAMP"
              },
              {
                "name": "type",
                "mode": "NULLABLE",
                "type": "INTEGER"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "yum_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "apt_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "googet_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "patch_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "category",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "severity",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "summary",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_patch",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "title",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "id",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "name",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "categories",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      },
                      {
                        "name": "kb_article_ids",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "support_url",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "more_info_urls",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "update_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "revision_number",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "last_deployment_change_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "wua_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "caption",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "hot_fix_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "install_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "qfe_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "cos_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "display_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "display_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "publisher",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "year",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "month",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "day",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          }
                        ],
                        "name": "install_date",
                        "mode": "NULLABLE",
                        "type": "RECORD"
                      },
                      {
                        "name": "help_link",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "windows_application",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  }
                ],
                "name": "installed_package",
                "mode": "NULLABLE",
                "type": "RECORD"
              },
              {
                "fields": [
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "yum_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "apt_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "googet_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "patch_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "category",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "severity",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "summary",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "zypper_patch",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "title",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "id",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          },
                          {
                            "name": "name",
                            "mode": "NULLABLE",
                            "type": "STRING"
                          }
                        ],
                        "name": "categories",
                        "mode": "REPEATED",
                        "type": "RECORD"
                      },
                      {
                        "name": "kb_article_ids",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "support_url",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "more_info_urls",
                        "mode": "REPEATED",
                        "type": "STRING"
                      },
                      {
                        "name": "update_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "revision_number",
                        "mode": "NULLABLE",
                        "type": "INTEGER"
                      },
                      {
                        "name": "last_deployment_change_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "wua_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "caption",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "description",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "hot_fix_id",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "install_time",
                        "mode": "NULLABLE",
                        "type": "TIMESTAMP"
                      }
                    ],
                    "name": "qfe_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "package_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "architecture",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "cos_package",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  },
                  {
                    "fields": [
                      {
                        "name": "display_name",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "display_version",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "name": "publisher",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      },
                      {
                        "fields": [
                          {
                            "name": "year",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "month",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          },
                          {
                            "name": "day",
                            "mode": "NULLABLE",
                            "type": "INTEGER"
                          }
                        ],
                        "name": "install_date",
                        "mode": "NULLABLE",
                        "type": "RECORD"
                      },
                      {
                        "name": "help_link",
                        "mode": "NULLABLE",
                        "type": "STRING"
                      }
                    ],
                    "name": "windows_application",
                    "mode": "NULLABLE",
                    "type": "RECORD"
                  }
                ],
                "name": "available_package",
                "mode": "NULLABLE",
                "type": "RECORD"
              }
            ],
            "name": "value",
            "mode": "NULLABLE",
            "type": "RECORD"
          }
        ],
        "name": "items",
        "mode": "REPEATED",
        "type": "RECORD"
      },
      {
        "name": "update_time",
        "mode": "NULLABLE",
        "type": "TIMESTAMP"
      }
    ],
    "name": "os_inventory",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

  • Beziehung: Wenn Sie den Inhaltstyp RELATIONSHIP in der REST API oder relationship in der gcloud CLI festlegen, erstellen Sie eine BigQuery-Tabelle mit dem folgenden Schema.

    Beziehungsschema

    [
  {
    "name": "name",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "name": "asset_type",
    "mode": "NULLABLE",
    "type": "STRING"
  },
  {
    "fields": [
      {
        "name": "asset",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "asset_type",
        "mode": "NULLABLE",
        "type": "STRING"
      },
      {
        "name": "ancestors",
        "mode": "REPEATED",
        "type": "STRING"
      },
      {
        "name": "relationship_type",
        "mode": "NULLABLE",
        "type": "STRING"
      }
    ],
    "name": "related_asset",
    "mode": "NULLABLE",
    "type": "RECORD"
  },
  {
    "name": "ancestors",
    "mode": "REPEATED",
    "type": "STRING"
  },
  {
    "name": "update_time",
    "mode": "NULLABLE",
    "type": "TIMESTAMP"
  }
]

Asset-Snapshot exportieren

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --output-bigquery-force

Geben Sie folgende Werte an:

  • SCOPE: Verwenden Sie einen der folgenden Werte:

    • project=PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • folder=FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Optional. Die Projekt-ID, in der sich der Standard-Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • ASSET_TYPE_#: Optional. Eine durch Kommas getrennte Liste von suchbaren Asset-Typen. RE2-kompatible reguläre Ausdrücke werden unterstützt. Wenn der reguläre Ausdruck mit keinem unterstützten Asset-Typ übereinstimmt, wird ein INVALID_ARGUMENT-Fehler zurückgegeben. Wenn --asset-types nicht angegeben ist, werden alle Asset-Typen zurückgegeben.
  • CONTENT_TYPE: Optional. Der Inhaltstyp der Metadaten, die Sie abrufen möchten. Wenn --content-type nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im gcloud topic datetime-Format. Der Wert darf maximal 35 Tage in der Vergangenheit liegen. Wenn --snapshot-time nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

Das Flag --output-bigquery-force überschreibt die Zieltabelle, falls sie vorhanden ist.

Eine vollständige Liste aller Optionen finden Sie in der Referenz zur gcloud CLI.

Beispiel

Führen Sie den folgenden Befehl aus, um die resource-Metadaten vom Stand vom 30. Januar 2024 aus dem Projekt my-project in die BigQuery-Tabelle my-table zu exportieren.

gcloud asset export \
    --project=my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --output-bigquery-force

Beispielantwort

Export in progress for root asset [projects/my-project].
Use [gcloud asset operations describe projects/000000000000/operations/ExportAssets/RESOURCE/00000000000000000000000000000000] to check the status of the operation.

REST

HTTP-Methode und URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Header:

X-Goog-User-Project: BILLING_PROJECT_ID

JSON-Text anfordern:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "force": true
    }
  }
}

Geben Sie folgende Werte an:

  • SCOPE_PATH: Verwenden Sie einen der folgenden Werte:

    Zulässige Werte:

    • projects/PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • projects/PROJECT_NUMBER, wobei PROJECT_NUMBER die Nummer des Projekts mit den zu exportierenden Asset-Metadaten ist.

      Projektnummer für Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die Projektnummer eines Google Cloud -Projekts ab:

      1. Rufen Sie in der Google Cloud -Console die Seite Willkommen auf.

        Zur Begrüßungsseite

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.

      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus und suchen Sie dann nach dem Projektnamen. Der Projektname, die Projektnummer und die Projekt-ID werden in der Nähe der Überschrift Willkommen angezeigt.

        Es werden bis zu 4.000 Ressourcen angezeigt. Wenn Sie das gewünschte Projekt nicht finden, rufen Sie die Seite Ressourcen verwalten auf und filtern Sie die Liste mit dem Namen des Projekts.

      gcloud-CLI

      Sie können die Projektnummer eines Google Cloud -Projekts mit dem folgenden Befehl abrufen:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Die Projekt-ID, in der sich der standardmäßige Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • CONTENT_TYPE: Inhaltstyp der Metadaten, die abgerufen werden sollen. Wenn contentType nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im RFC 3339-Format. Der Wert darf maximal 35 Tage in der Vergangenheit liegen. Wenn readTime nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

Das Schlüssel/Wert-Paar "force": true überschreibt die Zieltabelle, falls sie vorhanden ist.

Weitere Informationen zu allen Optionen finden Sie in der REST-Referenz.

Befehlsbeispiele

Führen Sie einen der folgenden Befehle aus, um die resource-Metadaten vom 30. Januar 2024 aus dem Projekt my-project in die BigQuery-Tabelle my-table zu exportieren.

curl (Linux, macOS oder Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "force": true
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "force": true
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Beispielantwort

{
  "name": "projects/000000000000/operations/ExportAssets/RESOURCE/00000000000000000000000000000000",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.asset.v1.ExportAssetsRequest",
    "parent": "projects/000000000000",
    "readTime": "2024-01-30T00:00:00Z",
    "contentType": "RESOURCE",
    "outputConfig": {
      "bigqueryDestination": {
        "dataset": "projects/my-project/datasets/my-dataset",
        "table": "my-table",
        "force": true
      }
    }
  }
}

Go

Informationen zum Installieren und Verwenden der Clientbibliothek für Cloud Asset Inventory finden Sie hier.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Cloud Asset Inventory zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 


// Sample asset-quickstart exports assets to given bigquery table.
package main

import (
	"context"
	"fmt"
	"log"
	"os"
	"strings"

	asset "cloud.google.com/go/asset/apiv1"
	"cloud.google.com/go/asset/apiv1/assetpb"
)

func main() {
	ctx := context.Background()
	projectID := os.Getenv("GOOGLE_CLOUD_PROJECT")
	client, err := asset.NewClient(ctx)
	if err != nil {
		log.Fatalf("asset.NewClient: %v", err)
	}
	defer client.Close()
	datasetID := strings.Replace(fmt.Sprintf("%s-for-assets", projectID), "-", "_", -1)
	dataset := fmt.Sprintf("projects/%s/datasets/%s", projectID, datasetID)
	req := &assetpb.ExportAssetsRequest{
		Parent: fmt.Sprintf("projects/%s", projectID),
		OutputConfig: &assetpb.OutputConfig{
			Destination: &assetpb.OutputConfig_BigqueryDestination{
				BigqueryDestination: &assetpb.BigQueryDestination{
					Dataset: dataset,
					Table:   "test",
					Force:   true,
				},
			},
		},
	}
	op, err := client.ExportAssets(ctx, req)
	if err != nil {
		log.Fatalf("ExportAssets: %v", err)
	}
	resp, err := op.Wait(ctx)
	if err != nil {
		log.Fatalf("Wait: %v", err)
	}
	fmt.Print(resp)
}

Java

Informationen zum Installieren und Verwenden der Clientbibliothek für Cloud Asset Inventory finden Sie hier.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Cloud Asset Inventory zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

// Imports the Google Cloud client library

import com.google.cloud.ServiceOptions;
import com.google.cloud.asset.v1.AssetServiceClient;
import com.google.cloud.asset.v1.BigQueryDestination;
import com.google.cloud.asset.v1.ContentType;
import com.google.cloud.asset.v1.ExportAssetsRequest;
import com.google.cloud.asset.v1.ExportAssetsRequest.Builder;
import com.google.cloud.asset.v1.ExportAssetsResponse;
import com.google.cloud.asset.v1.OutputConfig;
import com.google.cloud.asset.v1.PartitionSpec;
import com.google.cloud.asset.v1.ProjectName;
import java.io.IOException;
import java.util.Arrays;
import java.util.concurrent.ExecutionException;

public class ExportAssetsBigqueryExample {

  // Use the default project Id.
  private static final String projectId = ServiceOptions.getDefaultProjectId();

  /** 
   * Export assets to BigQuery for a project.

   * @param bigqueryDataset which dataset the results will be exported to
   * @param bigqueryTable which table the results will be exported to
   * @param contentType determines the schema for the table
   * @param assetTypes a list of asset types to export. if empty, export all.
   * @param isPerType separate BigQuery tables for each resource type
   */
  public static void exportBigQuery(String bigqueryDataset, String bigqueryTable,
      ContentType contentType, String[] assetTypes, boolean isPerType)
      throws IOException, IllegalArgumentException, InterruptedException, ExecutionException {
    try (AssetServiceClient client = AssetServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      OutputConfig outputConfig;
      // Outputs to per-type BigQuery table.
      if (isPerType) {
        outputConfig =
            OutputConfig.newBuilder()
                .setBigqueryDestination(
                    BigQueryDestination.newBuilder()
                        .setDataset(bigqueryDataset)
                        .setTable(bigqueryTable)
                        .setForce(true)
                        .setSeparateTablesPerAssetType(true)
                        .setPartitionSpec(
                            PartitionSpec.newBuilder()
                                .setPartitionKey(PartitionSpec.PartitionKey.READ_TIME)
                                .build())
                        .build())
                .build();
      } else {
        outputConfig =
            OutputConfig.newBuilder()
                .setBigqueryDestination(
                    BigQueryDestination.newBuilder()
                        .setDataset(bigqueryDataset)
                        .setTable(bigqueryTable)
                        .setForce(true)
                        .build())
                .build();
      }
      Builder exportAssetsRequestBuilder = ExportAssetsRequest.newBuilder()
          .setParent(parent.toString()).setContentType(contentType).setOutputConfig(outputConfig);
      if (assetTypes.length > 0) {
        exportAssetsRequestBuilder.addAllAssetTypes(Arrays.asList(assetTypes));
      }
      ExportAssetsRequest request = exportAssetsRequestBuilder.build();
      ExportAssetsResponse response = client.exportAssetsAsync(request).get();
      System.out.println(response);
    }
  }
}

Node.js

Informationen zum Installieren und Verwenden der Clientbibliothek für Cloud Asset Inventory finden Sie hier.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Cloud Asset Inventory zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const dataSet = 'projects/project_id/datasets/dataset_id';
// const table = 'mytable';

const {AssetServiceClient} = require('@google-cloud/asset');
const client = new AssetServiceClient();

async function exportAssetsBigquery() {
  const projectId = await client.getProjectId();
  const projectResource = client.projectPath(projectId);
  const dataset = dataSet;

  const request = {
    parent: projectResource,
    outputConfig: {
      bigqueryDestination: {
        dataset: `projects/${projectId}/${dataset}`,
        table: table,
        force: true,
      },
    },
  };

  // Handle the operation using the promise pattern.
  const [operation] = await client.exportAssets(request);

  // Operation#promise starts polling for the completion of the operation.
  const [result] = await operation.promise();

  // Do things with with the response.
  console.log(result);
}

exportAssetsBigquery();

Python

Informationen zum Installieren und Verwenden der Clientbibliothek für Cloud Asset Inventory finden Sie hier.

Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Cloud Asset Inventory zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten. 

from google.cloud import asset_v1

# TODO project_id = 'Your Google Cloud Project ID'
# TODO dataset = 'Your BigQuery dataset path'
# TODO table = 'Your BigQuery table name'
# TODO content_type ="Content type to export"

client = asset_v1.AssetServiceClient()
parent = f"projects/{project_id}"
output_config = asset_v1.OutputConfig()
output_config.bigquery_destination.dataset = dataset
output_config.bigquery_destination.table = table
output_config.bigquery_destination.force = True
response = client.export_assets(
    request={
        "parent": parent,
        "content_type": content_type,
        "output_config": output_config,
    }
)
print(response.result())

Asset-Snapshot in separate Tabellen für jeden Asset-Typ exportieren

Sie können Assets mit dem Flag --per-asset-type in der gcloud CLI und "separateTablesPerAssetType": true in REST API-Anfragen in separate BigQuery-Tabellen für jeden Asset-Typ exportieren.

In diesem Modus ist der Name jeder Tabelle TABLE_NAME mit _ (Unterstrich) und dem Namen des Asset-Typs verkettet. Nicht alphanumerische Zeichen werden durch _ ersetzt.

Wenn der Export in eine Tabelle fehlschlägt, schlägt der gesamte Exportvorgang fehl und gibt den ersten Fehler zurück. Die Ergebnisse früherer erfolgreicher Exporte bleiben erhalten.

Die folgenden Typen werden in einen JSON-String verpackt, um ein Kompatibilitätsproblem zwischen Proto3 und BigQuery-Typen zu lösen.

  • google.protobuf.Timestamp

  • google.protobuf.Duration

  • google.protobuf.FieldMask

  • google.protobuf.ListValue

  • google.protobuf.Value

  • google.protobuf.Struct

  • google.api.*

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --per-asset-type \
    --output-bigquery-force

Geben Sie folgende Werte an:

  • SCOPE: Verwenden Sie einen der folgenden Werte:

    • project=PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • folder=FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Optional. Die Projekt-ID, in der sich der Standard-Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • ASSET_TYPE_#: Optional. Eine durch Kommas getrennte Liste von suchbaren Asset-Typen. RE2-kompatible reguläre Ausdrücke werden unterstützt. Wenn der reguläre Ausdruck mit keinem unterstützten Asset-Typ übereinstimmt, wird ein INVALID_ARGUMENT-Fehler zurückgegeben. Wenn --asset-types nicht angegeben ist, werden alle Asset-Typen zurückgegeben.
  • CONTENT_TYPE: Optional. Der Inhaltstyp der Metadaten, die Sie abrufen möchten. Wenn --content-type nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im gcloud topic datetime-Format. Der Wert darf maximal 35 Tage in der Vergangenheit liegen. Wenn --snapshot-time nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

Das Flag --output-bigquery-force überschreibt die Zieltabelle, falls sie vorhanden ist.

Eine vollständige Liste aller Optionen finden Sie in der Referenz zur gcloud CLI.

Beispiel

Führen Sie den folgenden Befehl aus, um die resource-Metadaten vom Stand vom 30. Januar 2024 im Projekt my-project in mehrere BigQuery-Tabellen mit dem Präfix my-table zu exportieren.

gcloud asset export \
    --project=my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --per-asset-type \
    --output-bigquery-force

REST

HTTP-Methode und URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Header:

X-Goog-User-Project: BILLING_PROJECT_ID

JSON-Text anfordern:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "force": true,
      "separateTablesPerAssetType": true
    }
  }
}

Geben Sie folgende Werte an:

  • SCOPE_PATH: Verwenden Sie einen der folgenden Werte:

    Zulässige Werte:

    • projects/PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • projects/PROJECT_NUMBER, wobei PROJECT_NUMBER die Nummer des Projekts mit den zu exportierenden Asset-Metadaten ist.

      Projektnummer für Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die Projektnummer eines Google Cloud -Projekts ab:

      1. Rufen Sie in der Google Cloud -Console die Seite Willkommen auf.

        Zur Begrüßungsseite

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.

      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus und suchen Sie dann nach dem Projektnamen. Der Projektname, die Projektnummer und die Projekt-ID werden in der Nähe der Überschrift Willkommen angezeigt.

        Es werden bis zu 4.000 Ressourcen angezeigt. Wenn Sie das gewünschte Projekt nicht finden, rufen Sie die Seite Ressourcen verwalten auf und filtern Sie die Liste mit dem Namen des Projekts.

      gcloud-CLI

      Sie können die Projektnummer eines Google Cloud -Projekts mit dem folgenden Befehl abrufen:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Die Projekt-ID, in der sich der standardmäßige Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • CONTENT_TYPE: Inhaltstyp der Metadaten, die abgerufen werden sollen. Wenn contentType nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im RFC 3339-Format. Der Wert darf maximal 35 Tage in der Vergangenheit liegen. Wenn readTime nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

Das Schlüssel/Wert-Paar "force": true überschreibt die Zieltabelle, falls sie vorhanden ist.

Befehlsbeispiele

Führen Sie einen der folgenden Befehle aus, um die resource-Metadaten in der Version vom 30. Januar 2024 aus dem Projekt my-project in mehrere BigQuery-Tabellen mit dem Präfix my-table zu exportieren.

curl (Linux, macOS oder Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "force": true,
                "separateTablesPerAssetType": true
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "force": true,
      "separateTablesPerAssetType": true
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Asset-Snapshot in eine nach Datum partitionierte Tabelle mit Zeiteinheit exportieren

Sie können Assets in einem Projekt in Tabellen mit partitionierten Zeiteinheiten exportieren. Der exportierte Snapshot wird in einer BigQuery-Tabelle mit dem Namen TABLE_NAME mit täglicher Granularität und zwei zusätzlichen Zeitstempelspalten, readTime und requestTime, gespeichert. Eine dieser Spalten wird mit dem Wert PARTITION_KEY als Partitionsspalte angegeben.

Wenn Sie Assets in einem Projekt in partitionierte Tabellen exportieren möchten, senden Sie eine der folgenden Anfragen.

gcloud

gcloud asset export \
    --SCOPE \
    --billing-project=BILLING_PROJECT_ID \
    --asset-types=ASSET_TYPE_1,ASSET_TYPE_2,... \
    --content-type=CONTENT_TYPE \
    --relationship-types=RELATIONSHIP_TYPE_1,RELATIONSHIP_TYPE_2,... \
    --snapshot-time="SNAPSHOT_TIME" \
    --bigquery-table=projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID/tables/TABLE_NAME \
    --partition-key=PARTITION_KEY \
    --output-bigquery-force

Geben Sie folgende Werte an:

  • SCOPE: Verwenden Sie einen der folgenden Werte:

    • project=PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • folder=FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organization=ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Optional. Die Projekt-ID, in der sich der Standard-Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • ASSET_TYPE_#: Optional. Eine durch Kommas getrennte Liste von suchbaren Asset-Typen. RE2-kompatible reguläre Ausdrücke werden unterstützt. Wenn der reguläre Ausdruck mit keinem unterstützten Asset-Typ übereinstimmt, wird ein INVALID_ARGUMENT-Fehler zurückgegeben. Wenn --asset-types nicht angegeben ist, werden alle Asset-Typen zurückgegeben.
  • CONTENT_TYPE: Optional. Der Inhaltstyp der Metadaten, die Sie abrufen möchten. Wenn --content-type nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im gcloud topic datetime-Format. Der Wert darf nicht älter als 35 Tage sein. Wenn --snapshot-time nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

  • PARTITION_KEY: Die Partitionierungsschlüsselspalte beim Exportieren in partitionierte BigQuery-Tabellen. Gültige Werte sind read-time und request-time.

Das Flag --output-bigquery-force überschreibt Daten in der entsprechenden Partition in der Zieltabelle. Daten in verschiedenen Partitionen bleiben intakt.

Wenn --output-bigquery-force nicht angegeben ist, werden die exportierten Daten an die entsprechende Partition angehängt.

Der Exportvorgang schlägt fehl, wenn eine Schemaaktualisierung oder ein Versuch zum Anfügen von Daten fehlschlägt. Das gilt auch, wenn die Zieltabelle bereits vorhanden ist und nicht das für den Export erforderliche Schema hat.

Eine vollständige Liste aller Optionen finden Sie in der Referenz zur gcloud CLI.

Beispiel

Führen Sie den folgenden Befehl aus, um die resource-Metadaten in ihrer Version vom 30. Januar 2024 aus dem Projekt my-project in die BigQuery-Tabelle my-table zu exportieren.

gcloud asset export \
    --project=projects/my-project \
    --content-type=resource \
    --snapshot-time="2024-01-30" \
    --bigquery-table=projects/my-project/datasets/my-dataset/tables/my-table \
    --partition-key=my-partition-key \
    --output-bigquery-force

REST

HTTP-Methode und URL:

POST https://cloudasset.googleapis.com/v1/SCOPE_PATH:exportAssets

Header:

X-Goog-User-Project: BILLING_PROJECT_ID

JSON-Text anfordern:

{
  "contentType": "CONTENT_TYPE",
  "relationshipTypes": [
    "RELATIONSHIP_TYPE_1",
    "RELATIONSHIP_TYPE_2",
    "..."
  ],
  "readTime": "SNAPSHOT_TIME",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/BIGQUERY_PROJECT_ID/datasets/DATASET_ID",
      "table": "TABLE_NAME",
      "partitionSpec": {
        "partitionKey": "PARTITION_KEY"
      },
      "force": true,
    }
  }
}

Geben Sie folgende Werte an:

  • SCOPE_PATH: Verwenden Sie einen der folgenden Werte:

    Zulässige Werte:

    • projects/PROJECT_ID, wobei PROJECT_ID die ID des Projekts ist, das die zu exportierenden Asset-Metadaten enthält.

    • projects/PROJECT_NUMBER, wobei PROJECT_NUMBER die Nummer des Projekts mit den zu exportierenden Asset-Metadaten ist.

      Projektnummer für Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die Projektnummer eines Google Cloud -Projekts ab:

      1. Rufen Sie in der Google Cloud -Console die Seite Willkommen auf.

        Zur Begrüßungsseite

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.

      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus und suchen Sie dann nach dem Projektnamen. Der Projektname, die Projektnummer und die Projekt-ID werden in der Nähe der Überschrift Willkommen angezeigt.

        Es werden bis zu 4.000 Ressourcen angezeigt. Wenn Sie das gewünschte Projekt nicht finden, rufen Sie die Seite Ressourcen verwalten auf und filtern Sie die Liste mit dem Namen des Projekts.

      gcloud-CLI

      Sie können die Projektnummer eines Google Cloud -Projekts mit dem folgenden Befehl abrufen:

      gcloud projects describe PROJECT_ID --format="value(projectNumber)"

    • folders/FOLDER_ID, wobei FOLDER_ID die ID des Ordners mit den zu exportierenden Asset-Metadaten ist.

      ID eines Ordners in Google Cloud ermitteln

      Google Cloud Console

      So rufen Sie die ID eines Ordners in Google Cloud ab:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Suchen Sie nach dem Namen des Ordners. Die Ordner-ID wird neben dem Ordnernamen angezeigt.

      gcloud-CLI

      Sie können die ID eines Google Cloud -Ordners auf Organisationsebene mit dem folgenden Befehl abrufen:

      gcloud resource-manager folders list \
    --organization=$(gcloud organizations describe ORGANIZATION_NAME \
      --format="value(name.segment(1))") \
    --filter='"DISPLAY_NAME":"TOP_LEVEL_FOLDER_NAME"' \
    --format="value(ID)"

      Dabei ist TOP_LEVEL_FOLDER_NAME ein teilweiser oder vollständiger Stringabgleich mit dem Namen des Ordners. Entfernen Sie das --format-Flag, um weitere Informationen zu den gefundenen Ordnern aufzurufen.

      Der vorherige Befehl gibt nicht die IDs von Unterordnern in Ordnern zurück. Führen Sie dazu den folgenden Befehl mit der ID eines Ordners der obersten Ebene aus:

      gcloud resource-manager folders list --folder=FOLDER_ID

    • organizations/ORGANIZATION_ID, wobei ORGANIZATION_ID die ID der Organisation ist, die die zu exportierenden Asset-Metadaten enthält.

      ID einer Google Cloud -Organisation ermitteln

      Google Cloud Console

      So ermitteln Sie die ID einer Google Cloud -Organisation:

      1. Rufen Sie die Google Cloud -Konsole auf.

        Rufen Sie die Google Cloud -Console auf.

      2. Klicken Sie in der Menüleiste auf das Listenfeld Schalter.
      3. Wählen Sie Ihre Organisation aus dem Listenfeld aus.
      4. Klicken Sie auf den Tab Alle. Die Organisations-ID wird neben dem Namen der Organisation angezeigt.

      gcloud-CLI

      Sie können die ID einer Google Cloud -Organisation mit dem folgenden Befehl abrufen:

      gcloud organizations describe ORGANIZATION_NAME --format="value(name.segment(1))"

  • BILLING_PROJECT_ID: Die Projekt-ID, in der sich der standardmäßige Cloud Asset Inventory-Dienstagent befindet, der Berechtigungen zum Verwalten Ihrer BigQuery-Datasets und ‑Tabellen hat. Weitere Informationen zum Festlegen des Abrechnungsprojekts

  • CONTENT_TYPE: Inhaltstyp der Metadaten, die abgerufen werden sollen. Wenn contentType nicht angegeben ist, werden nur grundlegende Informationen zurückgegeben, z. B. Asset-Namen, das Datum der letzten Aktualisierung der Assets und zu welchen Projekten, Ordnern und Organisationen sie gehören.
  • RELATIONSHIP_TYPE_#: Optional. Erfordert Zugriff auf die Premium- oder Enterprise-Stufe von Security Command Center oder Gemini Cloud Assist. Eine durch Kommas getrennte Liste der Asset-Beziehungstypen, die abgerufen werden sollen. Sie müssen CONTENT_TYPE auf RELATIONSHIP setzen, damit dies funktioniert.
  • SNAPSHOT_TIME: Optional. Die Zeit, zu der Sie einen Snapshot Ihrer Assets erstellen möchten, im RFC 3339-Format. Der Wert darf maximal 35 Tage in der Vergangenheit liegen. Wenn readTime nicht angegeben ist, wird ein Snapshot zum aktuellen Zeitpunkt erstellt.
  • BIGQUERY_PROJECT_ID: Die ID des Projekts, in dem sich die BigQuery-Tabelle befindet, in die Sie exportieren möchten.
  • DATASET_ID: Die ID des BigQuery-Datasets.
  • TABLE_NAME: Die BigQuery-Tabelle, in die Sie Ihre Metadaten exportieren. Wenn das nicht der Fall ist, wird es erstellt.

  • PARTITION_KEY: Die Partitionierungsschlüsselspalte beim Exportieren in partitionierte BigQuery-Tabellen. Gültige Werte sind READ_TIME und REQUEST_TIME.

Mit dem Schlüssel/Wert-Paar "force": true werden Daten in der entsprechenden Partition in der Zieltabelle überschrieben. Daten in verschiedenen Partitionen bleiben intakt.

Wenn force nicht festgelegt oder auf false gesetzt ist, werden exportierte Daten an die entsprechende Partition angefügt.

Der Exportvorgang schlägt fehl, wenn eine Schemaaktualisierung oder ein Versuch zum Anfügen von Daten fehlschlägt. Das gilt auch, wenn die Zieltabelle bereits vorhanden ist und nicht das für den Export erforderliche Schema hat.

Befehlsbeispiele

Führen Sie einen der folgenden Befehle aus, um die resource-Metadaten vom 30. Januar 2024 aus dem Projekt my-project in die BigQuery-Tabelle my-table zu exportieren.

curl (Linux, macOS oder Cloud Shell)

curl -X POST \
     -H "X-Goog-User-Project: BILLING_PROJECT_ID" \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d '{
            "contentType": "RESOURCE",
            "readTime": "2024-01-30T00:00:00Z",
            "outputConfig": {
              "bigqueryDestination": {
                "dataset": "projects/my-project/datasets/my-dataset",
                "table": "my-table",
                "partitionSpec": {
                  "partitionKey": "my-partition-key"
                },
                "force": true,
              }
            }
          }' \
     https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets

PowerShell (Windows)

$cred = gcloud auth print-access-token

$headers = @{ 
  "X-Goog-User-Project" = "BILLING_PROJECT_ID";
  "Authorization" = "Bearer $cred"
}


$body = @"
{
  "contentType": "RESOURCE",
  "readTime": "2024-01-30T00:00:00Z",
  "outputConfig": {
    "bigqueryDestination": {
      "dataset": "projects/my-project/datasets/my-dataset",
      "table": "my-table",
      "partitionSpec": {
        "partitionKey": "my-partition-key"
      },
      "force": true,
    }
  }
}
"@

Invoke-WebRequest `
  -Method POST `
  -Headers $headers `
  -ContentType: "application/json; charset=utf-8" `
  -Body $body `
  -Uri "https://cloudasset.googleapis.com/v1/projects/my-project:exportAssets" | Select-Object -Expand Content

Status eines Exports prüfen

Exporte dauern einige Zeit. Sie können den Vorgang mithilfe der Vorgangs-ID abfragen, um zu prüfen, ob ein Export abgeschlossen ist.

Auch wenn der Export abgeschlossen ist, kann es sein, dass jemand eine weitere Exportanfrage an dasselbe Ziel wie ein anderer Vorgang gesendet hat. Neue Exportanfragen an dasselbe Ziel können gesendet werden, nachdem eine vorherige Anfrage abgeschlossen wurde oder wenn mehr als 15 Minuten vergangen sind. Exportanfragen, die nicht diesen Bedingungen entsprechen, werden von Cloud Asset Inventory abgelehnt.

gcloud

So rufen Sie den Status Ihres Exports auf:

  1. Rufen Sie die OPERATION_PATH mit der Vorgangs-ID aus der Antwort auf Ihre Exportanfrage ab. Die OPERATION_PATH ist in der Antwort auf den Export zu sehen, die so formatiert ist:

    projects/PROJECT_NUMBER/operations/ExportAssets/CONTENT_TYPE/OPERATION_ID

  2. Führen Sie zum Prüfen des Exportstatus den folgenden Befehl mit der OPERATION_PATH aus:

    gcloud asset operations describe OPERATION_PATH

REST

So rufen Sie den Status Ihres Exports auf:

  1. Rufen Sie die OPERATION_PATH mit der Vorgangs-ID aus der Antwort auf Ihre Exportanfrage ab. Die OPERATION_PATH wird als Wert des Felds name in der Antwort auf den Export angezeigt, der so formatiert ist:

    projects/PROJECT_NUMBER/operations/ExportAssets/CONTENT_TYPE/OPERATION_ID

  2. So prüfen Sie den Status Ihres Exports:

    REST

    HTTP-Methode und URL:

    GET https://cloudasset.googleapis.com/v1/OPERATION_PATH

    Befehlsbeispiele

    curl (Linux, macOS oder Cloud Shell)

    curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     https://cloudasset.googleapis.com/v1/OPERATION_PATH

    PowerShell (Windows)

    $cred = gcloud auth print-access-token

$headers = @{ 
  "Authorization" = "Bearer $cred"
}


Invoke-WebRequest `
  -Method GET `
  -Headers $headers `
  -Uri "https://cloudasset.googleapis.com/v1/OPERATION_PATH" | Select-Object -Expand Content

Asset-Snapshot in BigQuery ansehen

Console

  1. Rufen Sie in der Google Cloud -Konsole die Seite BigQuery Studio auf.

    Zu BigQuery Studio

  2. Um die Tabellen und Ansichten im Dataset anzuzeigen, öffnen Sie den Navigationsbereich. Wählen Sie im Abschnitt Ressourcen Ihr Projekt aus, um es zu maximieren, und wählen Sie dann ein Dataset aus.

  3. Wählen Sie in der Liste die gewünschte Tabelle aus.

  4. Klicken Sie auf Details und notieren Sie den Wert in Zeilenanzahl. Unter Umständen benötigen Sie diesen Wert, um den Startpunkt für Ihre Ergebnisse mit der gcloud CLI oder der REST API festzulegen.

  5. Um einen Beispieldatensatz anzuzeigen, wählen Sie Vorschau aus.

REST

Rufen Sie tabledata.list auf, um die Daten in Ihrer Tabelle zu durchsuchen. Geben Sie im Parameter tableId den Namen Ihrer Tabelle an.

Sie können die folgenden optionalen Parameter konfigurieren, um die Ausgabe zu steuern.

  • maxResults ist die maximale Anzahl von zurückzugebenden Ergebnissen.

  • selectedFields ist eine durch Kommas getrennte Liste von Spalten, die zurückgegeben werden sollen. Wenn nichts angegeben ist, werden alle Spalten zurückgegeben.

  • startIndex ist der nullbasierte Index der Startzeile, die gelesen werden soll.

Die Werte werden zusammengefasst in einem JSON-Objekt zurückgegeben. Dieses Objekt muss dann wie in der Referenzdokumentation zu tabledata.list beschrieben geparst werden.

Asset-Snapshot in BigQuery abfragen

Nachdem Sie den Snapshot in BigQuery exportiert haben, können Sie Abfragen mit den Asset-Metadaten ausführen.

BigQuery führt standardmäßig interaktive (On-Demand) Abfragejobs aus. Dies bedeutet, dass die Abfrage so bald wie möglich ausgeführt wird. Interaktive Abfragen werden hinsichtlich der Grenze gleichzeitiger Abfragen und des Tageslimits mit angerechnet.

Die Abfrageergebnisse werden entweder in einer temporären oder permanenten Tabelle gespeichert. Sie können Daten an eine vorhandene Tabelle anfügen oder Daten in einer bestehenden Tabelle überschreiben oder eine neue Tabelle erstellen, wenn nicht bereits eine mit demselben Namen vorhanden ist.

Führen Sie die folgenden Schritte aus, um eine interaktive Abfrage auszuführen, die die Ausgabe in eine temporäre Tabelle schreibt.

Console

  1. Rufen Sie in der Google Cloud -Konsole die Seite BigQuery Studio auf.

    Zu BigQuery Studio

  2. Wählen Sie Neue Abfrage erstellen aus.

  3. Geben Sie im Textbereich des Abfrageeditors eine gültige BigQuery-SQL-Abfrage ein.

  4. Optional: Führen Sie die folgenden Schritte aus, um den Standort der Datenverarbeitung zu ändern.

    1. Wählen Sie Mehr und dann Abfrageeinstellungen aus.

    2. Wählen Sie unter Verarbeitungsstandort die Option Automatische Auswahl und dann den Standort Ihrer Daten aus.

    3. Klicken Sie auf Speichern, um die Abfrageeinstellungen zu aktualisieren.

  5. Wählen Sie Ausführen aus.

REST

  1. Zum Starten eines neuen Jobs rufen Sie die Methode jobs.insert auf. Legen Sie in der Jobressource die folgenden Parameter fest.

    • Legen Sie im Feld configuration das Feld query auf eine JobConfigurationQuery fest, die den BigQuery-Abfragejob beschreibt.

    • Legen Sie im Feld jobReference das Feld location dem Job entsprechend fest.

  2. Rufen Sie getQueryResults auf, um die Ergebnisse abzufragen. Führen Sie die Abfrage so lange aus, bis jobComplete gleich true ist. In der Liste errors können Sie nach Fehlern und Warnungen suchen.

Weitere Beispiele für SQL-Abfrage

In diesem Abschnitt finden Sie Beispiel-SQL-Abfragen, mit denen Sie Ihre Asset-Metadaten nach dem Export nach BigQuery analysieren können. Weitere Informationen finden Sie unter Standard-SQL-Abfragesyntax.

Verfügbare Spalten direkt abfragen

Führen Sie die folgende Abfrage aus, um die Mengen der einzelnen Asset-Typen zu ermitteln:

SELECT asset_type, COUNT(*) AS asset_count
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
GROUP BY asset_type
ORDER BY asset_count DESC

Mit wiederkehrenden Feldern arbeiten

Führen Sie die folgende Abfrage aus, um IAM-Richtlinien (Identity and Access Management) zu suchen, die Zugriff auf Gmail-Konten gewähren. BigQuery verwendet UNNEST, um wiederkehrende Felder in einer Tabelle zu vereinfachen, die direkt abgefragt werden können:

SELECT name, asset_type, bindings.role
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
JOIN UNNEST(iam_policy.bindings) AS bindings
JOIN UNNEST(bindings.members) AS principals
WHERE principals like "%@gmail.com"

Führen Sie die folgende Abfrage aus, um eine Organisation, einen Ordner oder ein Projekt zu finden, das die Erstellung mithilfe einer öffentlichen IP-Adresse zulässt. Diese Abfrage ist nützlich, da das Zulassen öffentlicher IP-Adressen bei Cloud SQL-Instanzen Sicherheitslücken verursachen kann, es sei denn SSL oder ein Proxy ist konfiguriert:

SELECT name
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
JOIN UNNEST(org_policy) AS op
WHERE
  op.constraint = "constraints/sql.restrictPublicIp"
  AND (op.boolean_policy IS NULL OR op.boolean_policy.enforced = FALSE);

Führen Sie die folgende Abfrage aus, um eine Organisation, einen Ordner oder ein Projekt im selben VPC Service Controls-Dienstperimeter eines Projekts zu finden:

SELECT service_perimeter.title, service_perimeter.status.resources
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME`
CROSS JOIN UNNEST(service_perimeter.status.resources) as resource
WHERE resource = "projects/PROJECT_ID";

Mit JSON-Strings arbeiten

Führen Sie die folgende Abfrage aus, um offene Firewallregeln zu suchen: Weitere Informationen zu JSON-Funktionen in BigQuery.

CREATE TEMP FUNCTION json2array(json STRING)
RETURNS ARRAY<STRING>
LANGUAGE js AS """
  return JSON.parse(json).map(x=>JSON.stringify(x));
""";

SELECT firewall.name, firewall.resource.parent, JSON_EXTRACT(firewall.resource.data, '$.sourceRanges') AS sourceRanges
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` AS firewall
JOIN UNNEST(json2array(JSON_EXTRACT(firewall.resource.data, '$.sourceRanges'))) AS source_ranges
WHERE asset_type="compute.googleapis.com/Firewall" AND JSON_EXTRACT(firewall.resource.data, '$.sourceRanges') IS NOT NULL AND JSON_EXTRACT_SCALAR(source_ranges, '$') = "0.0.0.0/0"

Durch das Unterteilen der Tabellen pro Ressourcentyp sind offene Firewallregeln mit einer einfacheren und schnelleren Abfrage verfügbar.

SELECT firewall.name, firewall.resource.parent, sourceRanges
FROM `PROJECT_ID.DATASET_ID.STRUCTURED_INSTANCE_TABLE_NAME` AS firewall
JOIN UNNEST(firewall.resource.data.sourceRanges) AS sourceRanges
WHERE sourceRanges = "0.0.0.0/0";

Tabellen verschiedener Ressourcentypen zusammenführen

Führen Sie die folgende Abfrage aus, um Tabellen verschiedener Ressourcentypen zu verknüpfen. Das folgende Beispiel zeigt, wie Sie alle Subnetzwerke finden, denen keine VM angehängt ist. Zuerst sucht die Abfrage alle Subnetzwerke. In dieser Liste werden dann die Subnetzwerke ausgewählt, deren selfLink-Werte nicht vorhanden sind.

CREATE TEMP FUNCTION json2array(json STRING)
RETURNS ARRAY<STRING>
LANGUAGE js AS """
  return JSON.parse(json).map(x=>JSON.stringify(x));
""";

SELECT name, JSON_EXTRACT(subnetwork.resource.data, '$.selfLink') AS selflink
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` AS subnetwork
WHERE asset_type = "compute.googleapis.com/Subnetwork" AND (JSON_EXTRACT(subnetwork.resource.data, '$.selfLink') NOT IN
(SELECT DISTINCT JSON_EXTRACT(network_interfaces, '$.subnetwork')
FROM `PROJECT_ID.DATASET_ID.TABLE_NAME` as instance
JOIN UNNEST(json2array(JSON_EXTRACT(instance.resource.data, '$.networkInterfaces'))) AS network_interfaces
WHERE asset_type ="compute.googleapis.com/Instance"
AND JSON_EXTRACT(instance.resource.data, '$.networkInterfaces') IS NOT NULL
)) IS NULL

Wenn Sie Tabellen nach Ressourcentyp unterteilen, können Sie alle Subnetzwerke ermitteln, denen keine VM mit einer einfacheren und schnelleren Abfrage angehängt wurde.

SELECT name, subnetwork.resource.data.selfLink
FROM `PROJECT_ID.DATASET_ID.STRUCTURED_SUBNETWORK_TABLE_NAME` AS subnetwork
WHERE
  (
    subnetwork.resource.data.selfLink
      NOT IN (
        SELECT DISTINCT networkInterface.subnetwork
        FROM `PROJECT_ID.DATASET_ID.STRUCTURED_INSTANCE_TABLE_NAME` as instance
        JOIN
          UNNEST(instance.resource.data.networkInterfaces) AS networkInterface
        WHERE
          networkInterface IS NOT NULL
      )
  ) IS NULL;

Verwundbare Dataproc-Cluster aufgrund von CVE-2021-44228 finden

CREATE TEMP FUNCTION vulnerable_version(imageVersion STRING)
RETURNS BOOL
LANGUAGE js AS r"""
    const version_regexp = /(?<major>\d+)(?:\.)(?<minor>\d+)(?:\.)?(?<sub>\d+)?/g;
    let match = version_regexp.exec(imageVersion);
    if(match.groups.major < 1){
        return true;
    }
    if (match.groups.major == 1){
        if (match.groups.minor < 3){
            return true;
        }
        if(match.groups.minor == 3 &amp;&amp; match.groups.sub < 95){
            return true;
        }
        if(match.groups.minor == 4 &amp;&amp; match.groups.sub < 77){
            return true;
        }
        if(match.groups.minor == 5 &amp;&amp; match.groups.sub < 53){
            return true;
        }
    }
    if (match.groups.major == 2 &amp;&amp; match.groups.minor == 0 &amp;&amp; match.groups.sub < 27){
        return true;
    }
    return false;
""";

SELECT
  c.name,
  c.resource.data.projectId AS project_id,
  c.resource.data.clusterName AS cluster_name,
  c.resource.data.config.softwareConfig.imageVersion AS image_version,
  c.resource.data.status.state AS cluster_state,
  vulnerable_version(c.resource.data.config.softwareConfig.imageVersion) AS is_vulnerable
FROM
  `PROJECT_ID.DATASET_ID.TABLE_NAME_PREFIX_dataproc_googleapis_com_Cluster` c
  INNER JOIN `PROJECT_ID.DATASET_ID.TABLE_NAME_PREFIX_cloudresourcemanager_googleapis_com_Project` p
    ON p.resource.data.projectId = c.resource.data.projectId
WHERE
  c.resource.data.config.softwareConfig.imageVersion IS NOT NULL
  AND c.resource.data.status.state = "RUNNING"
  AND p.resource.data.lifecycleState = "ACTIVE";