Como usar o Cloud Bigtable com o Cloud Functions

Objetivos

Gravar, implantar e acionar uma função do Cloud HTTP que acesse o Cloud Bigtable.

Custos

Neste tópico, usamos o Cloud Bigtable e o Cloud Functions, que são componentes faturáveis do Google Cloud.

Antes de começar

  1. Neste tópico, presumimos que você tem uma instância do Cloud Bigtable chamada test-instance e uma tabela chamada test-table. É possível criar esses recursos seguindo as etapas em Como criar uma tabela de teste. Exclua os recursos quando terminar, para evitar cobranças desnecessárias.

  2. Ative a API Cloud Functions.

    Ativar a API

  3. Instale e inicie o SDK do Cloud.

    Observação: se o SDK do Cloud já estiver instalado, atualize-o executando o comando a seguir:

    gcloud components update
    
  4. Prepare seu ambiente de desenvolvimento:

Prepare o aplicativo

  1. Clone o repositório do app de amostra na máquina local:

    Node.js

    git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

    Outra alternativa é fazer o download da amostra como um arquivo ZIP e extraí-lo.

    Python

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

    Outra alternativa é fazer o download da amostra como um arquivo ZIP e extraí-lo.

    Go

    git clone https://github.com/GoogleCloudPlatform/golang-samples.git

    Outra alternativa é fazer o download da amostra como um arquivo ZIP e extraí-lo.

  2. Altere para o diretório que contém o código de amostra do Cloud Functions para acessar o Cloud Bigtable:

    Node.js

    cd nodejs-docs-samples/functions/bigtable/

    Python

    cd python-docs-samples/functions/bigtable/

    Go

    cd golang-samples/functions/bigtable/
  3. Confira o código de amostra:

    Node.js

    // Imports the Google Cloud client library
    const {Bigtable} = require('@google-cloud/bigtable');
    
    // Instantiates a client
    const bigtable = new Bigtable();
    
    exports.readRows = async (req, res) => {
      // Gets a reference to a Cloud Bigtable instance and database
      const instance = bigtable.instance(req.body.instanceId);
      const table = instance.table(req.body.tableId);
    
      // Execute the query
      try {
        const prefix = 'phone#';
        const rows = [];
        await table
          .createReadStream({
            prefix,
          })
          .on('error', err => {
            res.send(`Error querying Bigtable: ${err}`);
            res.status(500).end();
          })
          .on('data', row => {
            rows.push(
              `rowkey: ${row.id}, ` +
                `os_build: ${row.data['stats_summary']['os_build'][0].value}\n`
            );
          })
          .on('end', () => {
            rows.forEach(r => res.write(r));
            res.status(200).end();
          });
      } catch (err) {
        res.send(`Error querying Bigtable: ${err}`);
        res.status(500).end();
      }
    };
    

    Python

    from google.cloud import bigtable
    from google.cloud.bigtable.row_set import RowSet
    
    client = bigtable.Client()
    
    def bigtable_read_data(request):
        instance = client.instance(request.headers.get("instance_id"))
        table = instance.table(request.headers.get("table_id"))
    
        prefix = 'phone#'
        end_key = prefix[:-1] + chr(ord(prefix[-1]) + 1)
    
        outputs = []
        row_set = RowSet()
        row_set.add_row_range_from_keys(prefix.encode("utf-8"),
                                        end_key.encode("utf-8"))
    
        rows = table.read_rows(row_set=row_set)
        for row in rows:
            output = 'Rowkey: {}, os_build: {}'.format(
                row.row_key.decode('utf-8'),
                row.cells["stats_summary"]["os_build".encode('utf-8')][0]
                .value.decode('utf-8'))
            outputs.append(output)
    
        return '\n'.join(outputs)
    

    Go

    
    // Package bigtable contains an example of using Bigtable from a Cloud Function.
    package bigtable
    
    import (
    	"context"
    	"fmt"
    	"log"
    	"net/http"
    	"sync"
    
    	"cloud.google.com/go/bigtable"
    )
    
    // client is a global Bigtable client, to avoid initializing a new client for
    // every request.
    var client *bigtable.Client
    var clientOnce sync.Once
    
    // BigtableRead is an example of reading Bigtable from a Cloud Function.
    func BigtableRead(w http.ResponseWriter, r *http.Request) {
    	clientOnce.Do(func() {
    		// Declare a separate err variable to avoid shadowing client.
    		var err error
    		client, err = bigtable.NewClient(context.Background(), r.Header.Get("projectID"), r.Header.Get("instanceId"))
    		if err != nil {
    			http.Error(w, "Error initializing client", http.StatusInternalServerError)
    			log.Printf("bigtable.NewClient: %v", err)
    			return
    		}
    	})
    
    	tbl := client.Open(r.Header.Get("tableID"))
    	err := tbl.ReadRows(r.Context(), bigtable.PrefixRange("phone#"),
    		func(row bigtable.Row) bool {
    			osBuild := ""
    			for _, col := range row["stats_summary"] {
    				if col.Column == "stats_summary:os_build" {
    					osBuild = string(col.Value)
    				}
    			}
    
    			fmt.Fprintf(w, "Rowkey: %s, os_build:  %s\n", row.Key(), osBuild)
    			return true
    		})
    
    	if err != nil {
    		http.Error(w, "Error reading rows", http.StatusInternalServerError)
    		log.Printf("tbl.ReadRows(): %v", err)
    	}
    }
    

    A função envia uma solicitação de leitura à tabela para buscar todos os dados stats_summary de linhas com um prefixo de chave de linha de phone. A função é executada quando você faz uma solicitação HTTP ao endpoint da função.

Implante a função

Para implantar a função com um gatilho HTTP, execute o seguinte comando no diretório bigtable:

Node.js

gcloud functions deploy get \
--runtime nodejs10 --trigger-http
É possível usar os seguintes valores para a sinalização --runtime para especificar sua versão preferida do Node.js:
  • nodejs10
  • nodejs12
  • nodejs14 (visualização pública)

Python

gcloud functions deploy bigtable_read_data \
--runtime python38 --trigger-http
É possível usar os seguintes valores da sinalização --runtime para especificar a versão preferencial do Python:
  • python37
  • python38
  • python39 (visualização pública)

Go

gcloud functions deploy HelloBigtable \
--runtime go113 --trigger-http
É possível usar os seguintes valores para a sinalização --runtime para especificar sua versão Go preferencial:
  • go111 (uso suspenso)
  • go113

A implantação da função pode levar até dois minutos.

Quando a implantação da função for concluída, ela retornará o valor url. Você usará esse valor ao acionar a função.

É possível ver as funções implementadas na página do Cloud Functions no Google Cloud Console. Nessa página, também é possível criar e editar funções, assim como obter detalhes e diagnósticos das suas funções.

Acionar a função

Faça uma solicitação HTTP à função:

Node.js

curl "https://REGION-PROJECT_ID.cloudfunctions.net/get" --trigger-http

Python

curl "https://REGION-PROJECT_ID.cloudfunctions.net/bigtable_read_data" --trigger-http

Go

curl "https://REGION-PROJECT_ID.cloudfunctions.net/HelloBigtable" --trigger-http

em que REGION e PROJECT_ID correspondem aos valores visíveis no terminal quando a implantação da função for concluída. Você verá uma saída que mostra os resultados da solicitação de leitura.

Também é possível visitar o URL da função no navegador para ver o resultado da solicitação de leitura.

Limpeza

Para evitar cobranças adicionais na conta do Google Cloud, referentes aos recursos do Cloud Bigtable e do Cloud Functions usados neste tópico:

  1. Exclua a instância:

    gcloud bigtable instances delete test-instance
    
  2. Exclua a função que você implantou:

    Node.js

    gcloud functions delete get --trigger-http

    Python

    gcloud functions delete bigtable_read_data --trigger-http

    Go

    gcloud functions delete HelloBigtable --trigger-http

A seguir