Créer une table externe

BigQuery Omni ne gère pas les données stockées dans Azure Storage. Pour accéder aux données Azure Storage, définissez une table externe.

Pour créer une table externe, procédez comme suit :

Google Cloud Console

  1. Dans Google Cloud Console, ouvrez la page "BigQuery".

    Accéder à BigQuery

  2. Dans la section Ressources du panneau de navigation, développez votre projet et sélectionnez un ensemble de données.

  3. Dans le panneau de détails, cliquez sur Create table (Créer une table).

    Créer une table

  4. Dans la section Source de la page Create table (Créer une table), procédez comme suit :

    • Dans Créer une table à partir de, sélectionnez Azure Blob Storage.
    • Dans le champ Sélectionner le chemin Azure Blob Storage, saisissez un chemin Azure Blob Storage au format abs. Par exemple : abs://AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH Remplacez AZURE_STORAGE_ACCOUNT_NAME par le nom du compte Azure Storage. La région du compte doit être identique à celle de l'ensemble de données. Remplacez CONTAINER_NAME par le nom du conteneur Azure. Remplacez FILE_PATH par le chemin de données qui pointe vers les données Azure Storage. Par exemple, pour un seul fichier CSV, FILE_PATH peut être abs://account/container/myfile.csv.
    • Dans le champ Format de fichier, sélectionnez le format de données Azure. Les formats acceptés sont AVRO, PARQUET, ORC, CSV, NEWLINE_DELIMITED_JSON et Sheets.
  5. Dans la section Destination de la page Create table (Créer une table), procédez comme suit :

    • Sous Dataset name (Nom de l'ensemble de données), sélectionnez l'ensemble de données approprié.

      Sélectionner un ensemble de données

    • Dans le champ Nom de la table, saisissez le nom de la table que vous créez.

    • Vérifiez que le paramètre Type de table est défini sur Table externe.

    • Dans le champ ID de connexion, sélectionnez l'ID de connexion approprié dans la liste déroulante.

  6. Cliquez sur Create table.

bq

bq mk \
--external_table_definition=DATA_FORMAT=abs://
AZURE_STORAGE_ACCOUNT_NAME/CONTAINER_NAME/FILE_PATH@AZURE_LOCATION.CONNECTION_NAME \
DATASET_NAME.TABLE_NAME

Remplacez l'élément suivant :

  • DATA_FORMAT : n'importe lequel des formats fédérés BigQuery compatibles (tels que AVRO, CSV ou PARQUET). Vérifiez que le format est écrit en majuscules.
  • AZURE_STORAGE_ACCOUNT_NAME : nom du compte Azure Storage.
  • CONTAINER_NAME : nom du conteneur Azure.
  • FILE_PATH : chemin d'accès aux données qui pointe vers les données Azure Storage.
  • AZURE_LOCATION : emplacement Azure dans Google Cloud (par exemple, azure-eastus2).
  • CONNECTION_NAME : nom de la connexion que vous avez créée.
  • DATASET_NAME : nom de l'ensemble de données que vous avez créé.
  • TABLE_NAME : nom que vous souhaitez attribuer à cette table.

Par exemple, la commande suivante crée une table externe, absdataset.abstable, qui peut interroger vos données Azure Storage stockées sur le chemin abs://account/container/path et dispose d'une connexion en lecture à l'emplacement azure-eastus2 :

bq mk \
--external_table_definition=AVRO=abs://account/container/path@azure-eastus2.abs-read-conn absdataset.abstable

Étape suivante