Comparação com pandas-gbq
A biblioteca pandas-gbq
fornece uma interface simples para executar consultas e
fazer upload dos DataFrames do Pandas para o BigQuery. É um wrapper fino
da biblioteca de cliente
do BigQuery, google-cloud-bigquery
. O foco dessas duas bibliotecas é ajudar você a realizar análises de dados usando SQL. Veja
neste tópico amostras de código comparando google-cloud-bigquery
e pandas-gbq
.
As principais diferenças no nível de funcionalidade e de suporte entre as duas bibliotecas incluem:
pandas-gbq | google-cloud-bigquery | |
---|---|---|
Suporte | Biblioteca de código aberto mantida pelo PyData e por colaboradores voluntários | Biblioteca de código aberto mantida pelo Google |
Funcionalidade da API do BigQuery coberta | Execute consultas e salve dados de DataFrames pandas em tabelas | Funcionalidade completa da API do BigQuery, com suporte extra para ler/gravar DataFrames do pandas e um comando mágico do Jupyter para executar consultas |
documentos/fonte | documentos/fonte |
Instalar as bibliotecas
Para usar os exemplos de código deste guia, instale o pacote pandas-gbq
e as
bibliotecas de cliente Python do BigQuery.
PIP
Instale os pacotes
pandas-gbq
e
google-cloud-bigquery
.
pip install --upgrade pandas-gbq 'google-cloud-bigquery[bqstorage,pandas]'
Conda
Instale os pacotes Conda do
pandas-gbq
e do
google-cloud-bigquery
usando o canal conda-forge
gerenciado pela comunidade.
conda install -c conda-forge pandas-gbq google-cloud-bigquery
Executar consultas
Ambas as bibliotecas são compatíveis com a consulta de dados armazenados no BigQuery. As principais diferenças entre as bibliotecas incluem:
pandas-gbq | google-cloud-bigquery | |
---|---|---|
Sintaxe SQL padrão | GoogleSQL (configurável com pandas_gbq.context.dialect ) |
GoogleSQL |
Configurações de consulta | Enviado como dicionário no formato especificado na referência REST do BigQuery. | Use a classe QueryJobConfig , que contém propriedades para as várias opções de configuração da API. |
Consultar dados com a sintaxe GoogleSQL
Na amostra a seguir, mostramos como executar uma consulta do GoogleSQL com e sem a especificação explícita de um projeto. Em ambas as bibliotecas, se um projeto não for especificado, ele será determinado a partir das credenciais padrão.
pandas-gbq
:
google-cloud-bigquery
:
Como consultar dados com a sintaxe SQL legada
No exemplo a seguir, mostramos como executar uma consulta usando a sintaxe SQL legada. Consulte o guia de migração do GoogleSQL para ver orientações sobre como atualizar suas consultas para o GoogleSQL.
pandas-gbq
:
google-cloud-bigquery
:
Como usar a API BigQuery Storage para fazer o download de resultados grandes
Use a API BigQuery Storage para acelerar downloads de resultados pesados de 15 a 31 vezes.
pandas-gbq
:
google-cloud-bigquery
:
Como executar uma consulta com uma configuração
O envio de uma configuração com uma solicitação da API do BigQuery é necessário para executar determinadas operações complexas, como executar uma consulta parametrizada ou especificar uma tabela de destino para armazenar os resultados da consulta. No pandas-gbq
, a configuração precisa ser enviada como um dicionário no formato especificado na referência REST do BigQuery.
No google-cloud-bigquery
, são fornecidas classes de configuração de jobs, como QueryJobConfig
, que contêm as propriedades necessárias para configurar jobs complexos.
A amostra a seguir mostra como executar uma consulta com parâmetros nomeados.
pandas-gbq
:
google-cloud-bigquery
:
Como carregar um DataFrame do pandas para uma tabela do BigQuery
Ambas as bibliotecas são compatíveis com o upload de dados de um DataFrame do pandas para uma nova tabela no BigQuery. As principais diferenças incluem:
pandas-gbq | google-cloud-bigquery | |
---|---|---|
Tipo de suporte | Converte o formato DataFrame para CSV antes de enviar para a API, que não é compatível com valores aninhados ou de matriz. | Converte o DataFrame em formato Parquet ou CSV antes de enviar para a API, que é compatível com valores aninhados e de matriz. Escolha Parquet para valores de estrutura e matriz e CSV para flexibilidade de serialização de data e hora. O Parquet é a escolha padrão. Observe que pyarrow , que é o mecanismo de parquet usado para enviar os dados do DataFrame para a API do BigQuery, deve estar instalado para carregar o DataFrame em uma tabela. |
Carregar configurações | Enviado como dicionário no formato especificado na referência REST do BigQuery. | Use a classe LoadJobConfig , que contém propriedades para as várias opções de configuração da API. |
pandas-gbq
:
google-cloud-bigquery
:
google-cloud-bigquery
requer que a biblioteca pyarrow
serialize um DataFrame pandas em um arquivo Parquet.
Instale o pacote pyarrow
:
conda install -c conda-forge pyarrow
ou
pip install pyarrow
Recursos não compatíveis com o pandas-gbq
Embora a biblioteca pandas-gbq
forneça uma interface útil para consultar dados
e gravar dados em tabelas, ela não abrange muitos recursos da
API BigQuery, incluindo, entre outros:
- Como gerenciar conjuntos de dados, incluindo a criação de novos conjuntos de dados, a atualização de propriedades do conjunto de dados e a exclusão de conjuntos de dados
- Carregar dados no BigQuery de formatos diferentes do DataFrames do pandas
- Como gerenciar tabelas, incluindo listar tabelas em um conjunto de dados, copiar dados de tabelas e excluir tabelas
- Como exportar dados do BigQuery diretamente para o Cloud Storage