Jupyter ノートブックで BigQuery データを可視化する

BigQuery は、ペタバイト級のアナリティクスデータウェアハウスであり、巨大容量のデータに対して SQL クエリをリアルタイムに近い速度で実行できます。

データ可視化ツールは、BigQuery データを把握して、インタラクティブに分析するのに役立ちます。可視化ツールを使って、傾向を特定して対応し、データを利用して予測を行うことができます。このチュートリアルでは、Jupyter ノートブックで BigQuery Python クライアントライブラリと pandas を使用して、BigQuery の natality サンプルテーブルのデータを可視化します。

目標

このチュートリアルの内容は、次のとおりです。

Jupyter ノートブックを実行する環境を設定する
BigQuery Python クライアントライブラリと pandas を使用して BigQuery データのクエリを実行し、可視化する

料金

BigQuery は有料プロダクトであり、BigQuery にアクセスすると BigQuery の利用料金が発生します。BigQuery クエリの料金については、毎月 1 TB まで無料です。詳細については、BigQuery の料金ページをご覧ください。

始める前に

このチュートリアルを始める前に、Google Cloud Platform Console を使用して、プロジェクトを作成または選択し、課金を有効にします。

Google アカウントにログインします。
Google アカウントをまだお持ちでない場合は、新しいアカウントを登録します。
GCP プロジェクトを選択または作成します。

注: このチュートリアルで作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの完了後にそのプロジェクトを削除すれば、プロジェクトとチュートリアルに関連するすべてのリソースを削除できます。

[リソースの管理] ページに移動
プロジェクトに対して課金が有効になっていることを確認します。

課金を有効にする方法について
新しいプロジェクトでは、BigQuery が自動的に有効になります。既存のプロジェクトで BigQuery を有効にする手順は以下のとおりです。 BigQuery API を有効にします。
APIを有効にする

ローカルの Jupyter 環境の設定

このチュートリアルでは、ローカルにホストされる Jupyter ノートブックを使用します。次の操作を行って、Jupyter をインストールし、認証を設定し、必要な Python ライブラリをインストールします。

端末で次のコマンドを実行して、最新バージョンの BigQuery Python クライアントライブラリをインストールします。これには Pandas を使用する関数に必要な pandas ライブラリも含まれます。
```
pip install --upgrade google-cloud-bigquery[pandas]
```
Jupyter のドキュメントで説明しているインストール手順に沿って、Jupyter をインストールします。
認証の開始ページの手順に沿って、アプリケーションのデフォルト認証情報を設定します。認証を設定するには、サービスアカウントを作成し、環境変数を設定します。

概要: Jupyter ノートブック

ノートブックにより、コードを作成および実行する環境が提供されます。ノートブックは、本質的にソースアーティファクトであり、.ipynb ファイルとして保存されます。このファイルには、説明テキストコンテンツ、実行可能コードブロック、関連する結果（インタラクティブ HTML として表示される）を含めることができます。構造的に、ノートブックは一連のセルです。

セルは、結果を生成するために評価される入力テキストのブロックです。セルには次の 2 種類があります。

コードセル - 評価するコードが含まれます。コードを実行して生成された出力や結果は、入力コードのすぐ後に表示されます。
マークダウンセル - HTML に変換されるマークダウンテキストが含まれ、ヘッダー、リスト、書式付きテキストの生成に使用されます。

以下のスクリーンショットは、マークダウンセルとそれに続く Python コードセルを示しています。Python セルの出力はコードのすぐ下に表示されます。

Jupyter マークダウンとコードセル

開いた各ノートブックは、実行セッションに関連付けられます。IPython では、これはカーネルとも呼ばれます。このセッションは、ノートブック内に入力されたすべてのコードを実行し、状態（読み込まれる変数、その値、関数、クラス、既存の Python モジュール）を管理します。

BigQuery データのクエリと可視化

チュートリアルのこのセクションでは、BigQuery 内のデータのクエリと可視化に使用する Cloud Datalab ノートブックを作成します。natality サンプルテーブルのデータを使って、可視化を行います。このチュートリアルのクエリはすべて、標準 SQL の構文を使用します。

Jupyter ノートブックを使用して BigQuery データのクエリを実行し、可視化するには:

Jupyter をまだ起動していない場合は、ターミナルで次のコマンドを実行します。
```
jupyter notebook
```
これで Jupyter が実行され、ブラウザウィンドウで開かれます。Jupyter ウィンドウで、[New] ボタンをクリックし、[Python 2] または [Python 3] を選択して、新しい Python ノートブックを作成します。
ページ上部の [Untitled] をクリックします。
[Rename notebook] ダイアログで、BigQuery tutorial などの新しい名前を入力して、[Rename] をクリックします。
BigQuery Python クライアントライブラリには、最小限のコードでクエリを実行できるマジックコマンドが用意されています。クライアントライブラリからこのマジックコマンドを読み込むには、以下のコードをノートブックの最初のセルに貼り付けます。
```
%load_ext google.cloud.bigquery
```
注: %load_ext は Jupyter に組み込まれている多くのマジックコマンドの 1 つです。%load_ext などの組み込みのマジックコマンドの詳細については、Jupyter のドキュメントをご覧ください。
[Run] ボタンをクリックするか SHIFT + ENTER キーを押してコマンドを実行します。
BigQuery クライアントライブラリにはセルマジックである %%bigquery が用意されています。このセルマジックは SQL クエリを実行して、結果を pandas DataFrame として返します。次のセルに以下のコードを入力すると、年別の出生数の合計が返されます。
```
%%bigquery
SELECT
    source_year AS year,
    COUNT(is_male) AS birth_count
FROM `bigquery-public-data.samples.natality`
GROUP BY year
ORDER BY year DESC
LIMIT 15
```
[Run] をクリックします。
コードセルの下にクエリの結果が表示されます。
次のセルブロックで以下のコマンドを入力して同じクエリを実行しますが、今回は新しい変数 total_births に結果を保存します（この変数は %%bigquery の引数として指定されています）。この結果を使用して、より詳細な分析と可視化を行うことができます。
```
%%bigquery total_births
SELECT
    source_year AS year,
    COUNT(is_male) AS birth_count
FROM `bigquery-public-data.samples.natality`
GROUP BY year
ORDER BY year DESC
LIMIT 15
```
注: %%bigquery に指定できる引数の詳細については、クライアントライブラリのマジックのドキュメントをご覧ください。
[Run] をクリックします。
これで、pandas DataFrame が変数 total_births に保存され、プロットに使用できます。クエリ結果のプロットを準備するには、次のセルに以下の組み込みマジックコマンドを貼り付けて matplotlib を有効にします。matplotlib は、pandas で使用されるプロット用のライブラリです。
```
%matplotlib inline
```
[Run] をクリックします。
次のセルに以下のコードを入力し、pandas の DataFrame.plot() メソッドを使用してクエリ結果を棒グラフとして可視化します。pandas によるデータ可視化の詳細については、pandas のドキュメントをご覧ください。
```
total_births.plot(kind='bar', x='year', y='birth_count');
```
注: 通常、セミコロンは Python では使用されませんが、Jupyter ノートブックでは関数の出力を抑制するために使用できます。コマンドの実行でセミコロンを付ける場合と付けない場合で、出力に違いがあることがわかります。
[Run] をクリックします。
コードブロックの下にグラフが表示されます。

続いて、次のセルに以下のクエリを貼り付けて、曜日別の出生数を取得します。

%%bigquery births_by_weekday
SELECT
    wday,
    SUM(CASE WHEN is_male THEN 1 ELSE 0 END) AS male_births,
    SUM(CASE WHEN is_male THEN 0 ELSE 1 END) AS female_births
FROM `bigquery-public-data.samples.natality`
WHERE wday IS NOT NULL
GROUP BY wday
ORDER BY wday ASC

wday（weekday）フィールドでは null 値が許可されるため、このクエリでは wday が NULL であるレコードを除外しています。

[Run] をクリックします。
次のセルに以下のコードを入力し、クエリ結果を折れ線グラフで表示します。
```
births_by_weekday.plot(x='wday');
```
[Run] をクリックします。
コードブロックの下にグラフが表示されます。出生数が日曜日（1）と土曜日（7）に大幅に低下していることがわかります。
[File] > [Save and Checkpoint] をクリックするか、ツールバーの保存アイコンをクリックします。チェックポイントを作成すると、ノートブックを前の状態にロールバックできます。

pandas DataFrame

マジックコマンドを使用すると、最小限の構文で BigQuery を操作できます。%%bigquery のバックグラウンドでは、BigQuery Python クライアントライブラリを使用して指定のクエリを実行し、結果を pandas DataFrame に変換し、オプションで結果を変数に保存し、最後に結果を表示します。マジックコマンドの代わりに BigQuery Python クライアントライブラリを直接使用すると、クエリをより詳細に制御でき、より複雑な構成が可能になります。ライブラリと pandas の統合により、宣言型の SQL の機能と命令コード（Python）を組み合わせて、データの分析、可視化、変換操作を行うことができます。

pandas DataFrame による BigQuery データのクエリと可視化

チュートリアルのこのセクションでは、pandas DataFrame を使用して BigQuery データのクエリ実行と可視化を行います。BigQuery Python クライアントライブラリを使用して BigQuery データのクエリを実行します。pandas ライブラリの DataFrame を使用してデータを分析します。

以下の Python コードを次のセルに入力して、BigQuery Python クライアントライブラリをインポートし、クライアントを初期化します。BigQuery クライアントは、BigQuery API からのメッセージの送受信に使用されます。
```
from google.cloud import bigquery
client = bigquery.Client()
```
[Run] をクリックします。
Client.query() メソッドを使用してクエリを実行します。次のセルに、以下のコードを入力して、年別の多生児の出生数を取得するクエリを実行するます。出生数は多生児の人数（双子の場合は 2、三つ子の場合は 3 など）ごとに取得します。
```
sql = """
SELECT
    plurality,
    COUNT(1) AS count,
    year
FROM
    `bigquery-public-data.samples.natality`
WHERE
    NOT IS_NAN(plurality) AND plurality > 1
GROUP BY
    plurality, year
ORDER BY
    count DESC
"""
df = client.query(sql).to_dataframe()
df.head()
```
[Run] をクリックします。
DataFrame 内のクエリ結果をグラフ表示するには、次のセルに以下のコードを挿入して、データのピボットを行い、時系列の多生児数の積み上げ棒グラフを作成します。
```
pivot_table = df.pivot(index='year', columns='plurality', values='count')
pivot_table.plot(kind='bar', stacked=True, figsize=(15, 7));
```
[Run] をクリックします。
コードブロックの下にグラフが表示されます。
次のセルに以下のクエリを入力し、妊娠週別の出生数を取得します。
```
sql = """
SELECT
    gestation_weeks,
    COUNT(1) AS count
FROM
    `bigquery-public-data.samples.natality`
WHERE
    NOT IS_NAN(gestation_weeks) AND gestation_weeks <> 99
GROUP BY
    gestation_weeks
ORDER BY
    gestation_weeks
"""
df = client.query(sql).to_dataframe()
```
注: gestation_weeks フィールドは null 値を許容し、不明な値を 99 として保存するため、このクエリでは gestation_weeks の値が null または 99 のレコードを除外しています。
[Run] をクリックします。
DataFrame 内のクエリ結果をグラフ表示するには、次のセルに以下のコードを貼り付けます。
```
ax = df.plot(kind='bar', x='gestation_weeks', y='count', figsize=(15,7))
ax.set_title('Count of Births by Gestation Weeks')
ax.set_xlabel('Gestation Weeks')
ax.set_ylabel('Count');
```
注: このコードは、データを棒グラフとしてプロットし、グラフのタイトル、x 軸ラベル、y 軸ラベルを設定します。データをプロットするときに、この他にも多くの指定可能なオプションがあります。詳細については、pandas API リファレンスの pandas.DataFrame.plot をご覧ください。
[Run] をクリックします。
コードブロックの下に棒グラフが表示されます。

次のステップ

BigQuery 用のクエリの記述について確認する - BigQuery ドキュメントのデータのクエリでは、クエリの実行方法やユーザー定義関数（UDF）の作成方法などを説明しています。
BigQuery の構文を見る - BigQuery の SQL クエリに推奨される言語は標準 SQL です。この言語については、SQL リファレンスをご覧ください。BigQuery のレガシー SQL に類似した構文については、クエリリファレンス（レガシー SQL）をご覧ください。