Modelo do Spanner para o BigQuery

O modelo do Spanner para BigQuery é um pipeline em lote que lê dados de uma tabela do Spanner e os grava no BigQuery.

Requisitos de pipeline

  • A tabela de entrada do Spanner precisa existir antes da execução do pipeline.
  • O conjunto de dados do BigQuery precisa existir antes da execução do pipeline.
  • Um arquivo JSON que descreve o esquema do BigQuery.

    O arquivo precisa conter uma matriz JSON de nível superior chamada fields. O conteúdo da matriz fields precisa usar o seguinte padrão:
    {"name": "COLUMN_NAME", "type": "DATA_TYPE"}.

    Veja no JSON a seguir um exemplo de esquema do BigQuery:

    {
  "fields": [
    {
      "name": "location",
      "type": "STRING"
    },
    {
      "name": "name",
      "type": "STRING"
    },
    {
      "name": "age",
      "type": "STRING"
    },
    {
      "name": "color",
      "type": "STRING"
    },
    {
      "name": "coffee",
      "type": "STRING"
    }
  ]
}

    O modelo de lote do Spanner para BigQuery não dá suporte à importação de dados para os campos STRUCT (registro) na tabela de destino do BigQuery.

Parâmetros do modelo

Parâmetro Descrição
spannerInstanceId O ID da instância do banco de dados do Spanner que será usado para as leituras.
spannerDatabaseId O ID do banco de dados do Spanner a ser exportado.
spannerTableId O nome da tabela do banco de dados do Spanner a ser exportado.
sqlQuery A consulta SQL a ser usada para ler dados do banco de dados do Spanner.
outputTableSpec A tabela do BigQuery para gravar. Por exemplo, <project>:<dataset>.<table_name>.
spannerProjectId Opcional: o ID do projeto em que o banco de dados do Spanner reside. O valor padrão desse parâmetro é o projeto em que o pipeline do Dataflow está em execução.
spannerRpcPriority Opcional: a prioridade de solicitação das chamadas do Spanner. Os valores possíveis são HIGH, MEDIUM e LOW. O valor padrão é HIGH.
bigQuerySchemaPath Opcional: o caminho do Cloud Storage (gs://) para o arquivo JSON que define o esquema do BigQuery. Por exemplo, gs://path/to/my/schema.json.
writeDisposition (Opcional) O WriteDisposition do BigQuery. Os valores com suporte são WRITE_APPEND, WRITE_EMPTY e WRITE_TRUNCATE. O valor padrão é WRITE_APPEND.
createDisposition (Opcional) O CreateDisposition do BigQuery. Os valores com suporte são CREATE_IF_NEEDED e CREATE_NEVER. O valor padrão é CREATE_IF_NEEDED.
useStorageWriteApi Opcional: Se true, o pipeline usa a API BigQuery Storage Write. O valor padrão é false. Para mais informações, consulte Como usar a API Storage Write.
useStorageWriteApiAtLeastOnce Opcional: Ao usar a API Storage Write, especifica a semântica de gravação. Para usar semântica pelo menos uma vez, defina esse parâmetro como true. Para usar semântica exatamente uma vez, defina o parâmetro como false. Esse parâmetro se aplica apenas quando useStorageWriteApi é true. O valor padrão é false.

Executar o modelo

Console

  1. Acesse a página Criar job usando um modelo do Dataflow.
    2. Acesse Criar job usando um modelo
  2. No campo Nome do job, insira um nome exclusivo.
  3. Opcional: em Endpoint regional, selecione um valor no menu suspenso. A região padrão é us-central1.

    Para ver uma lista de regiões em que é possível executar um job do Dataflow, consulte Locais do Dataflow.

  4. No menu suspenso Modelo do Dataflow, selecione the Spanner to BigQuery template.
  5. Nos campos de parâmetro fornecidos, insira os valores de parâmetro.
  6. Cliquem em Executar job.

gcloud

No shell ou no terminal, execute o modelo:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Spanner_to_BigQuery_Flex \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --parameters \
       spannerInstanceId=SPANNER_INSTANCE_ID,\
       spannerDatabaseId=SPANNER_DATABASE_ID,\
       spannerTableId=SPANNER_TABLE_ID,\
       sqlQuery=SQL_QUERY,\
       outputTableSpec=OUTPUT_TABLE_SPEC,\

Substitua:

  • JOB_NAME: um nome de job de sua escolha
  • VERSION: a versão do modelo que você quer usar

    Use estes valores:

  • REGION_NAME: a região em que você quer implantar o job do Dataflow, por exemplo, us-central1.
  • SPANNER_INSTANCE_ID: o ID da instância do Spanner
  • SPANNER_DATABASE_ID: o ID do banco de dados do Spanner
  • SPANNER_TABLE_ID: o nome da tabela do Spanner
  • SQL_QUERY: a consulta SQL
  • OUTPUT_TABLE_SPEC: o local da tabela do BigQuery

API

Para executar o modelo usando a API REST, envie uma solicitação HTTP POST. Para mais informações sobre a API e os respectivos escopos de autorização, consulte projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launchParameter": {
     "jobName": "JOB_NAME",
     "parameters": {
       "spannerInstanceId": "SPANNER_INSTANCE_ID",
       "spannerDatabaseId": "SPANNER_DATABASE_ID",
       "spannerTableId": "SPANNER_TABLE_ID",
       "sqlQuery": "SQL_QUERY",
       "outputTableSpec": "OUTPUT_TABLE_SPEC",
     },
     "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Cloud_Spanner_to_BigQuery_Flex",
     "environment": { "maxWorkers": "10" }
  }
}

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud em que você quer executar o job do Dataflow
  • JOB_NAME: um nome de job de sua escolha
  • VERSION: a versão do modelo que você quer usar

    Use estes valores:

  • LOCATION: a região em que você quer implantar o job do Dataflow, por exemplo, us-central1.
  • SPANNER_INSTANCE_ID: o ID da instância do Spanner
  • SPANNER_DATABASE_ID: o ID do banco de dados do Spanner
  • SPANNER_TABLE_ID: o nome da tabela do Spanner
  • SQL_QUERY: a consulta SQL
  • OUTPUT_TABLE_SPEC: o local da tabela do BigQuery

A seguir