Twitter、Google Cloud 用 API でツイートからインサイトを獲得

※この投稿は米国時間 2022 年 6 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: Twitter はデータの宝庫と言われています。しかし、世の中で何が起きているのか、人々は今何を話しているのか、その情報をどのようにビジネスのユースケースに活かすのかを理解するために、ツイートを分析する作業には、これまで高度な技術と時間が必要でした。今はそうではありません。Twitter は最近、Google Cloud 向けの API ツールキットを発表し、デベロッパーが数分以内にツイートから大規模にインサイトを獲得できるよう支援しています。このブログは、これを実現した Twitter チームとの対話をもとに書かれています。このブログに貢献してくだった、Twitter の Prasanna Selvaraj 氏と Nikki Golding 氏に謝意を表します。

企業やブランドは、最新の消費者動向の把握や競合他社の分析、ニュース速報の先取り、カスタマー サービスのリクエストへの対応など、さまざまな理由で常に Twitter をモニタリングしています。収益化可能な毎日のアクティブ ユーザーが 2 億 2,900 万人いる Twitter を、あらゆる規模の企業がビジネス インテリジェンスをサポートする大きな可能性を秘めたデータの宝庫と考えるのは不思議ではありません。

しかし、言語は複雑であり、ソーシャル メディア上の会話を、インサイトを得るためのデータに変換するためには、まず、大量のツイートに整理、分類、フィルタリングの処理を行う必要があります。このプロセスに欠かせないのが、Twitter API です。これは、デベロッパーがプラットフォーム上で起きているリアルタイムに公開されている会話を検索し、取得し、関与することを可能にするプログラム上のエンドポイントのセットです。

このブログでは、Twitter Developer Platform Solutions Architecture チームから、デベロッパーが Twitter の力を活用できるように、大量のツイートをすばやく取り込み、処理し、分析するための新しいフレームワークである Twitter API toolkit for Google Cloud について学びます。

デベロッパーは容易にツイートから価値あるインサイトを抽出する

現在、2 つのバージョンのツールキット、Twitter API Toolkit for Google Cloud Filtered Stream と Twitter API Toolkit for Google Cloud Recent Search が利用可能です。

Twitter API for Google Cloud for Filtered Stream は、Google Cloud に 60 分以内にインストールできるトレンド検出フレームワークによって、デベロッパーをサポートしています。この機能は、Google Cloud にツイートを取り込むデータ パイプライン プロセスを自動化し、Twitter 上で展開されるリアルタイムのトレンドを、構成したルールに従い、使いやすいダッシュボードで可視化します。このツールは、分野や業種を超えたマクロレベルおよびミクロレベルのトレンドを検出するために使用でき、水平方向にスケールして 1 日あたり数百万件のツイートを処理できます。

Twitter のソリューション アーキテクトでこのツールキットの作成者である Prasanna Selvaraj 氏は次のように説明しています。「Twitter からトレンドを検出するには、リアルタイムの Twitter API をリッスンし、ツイートをその場で処理する必要があります。また、トレンドの検出は複雑な作業ですが、トレンドを分類するためには、ツイートのテーマやトピックも特定する必要があります。NER（固有表現認識）や NLP（自然言語処理）サービスとの連携が必要なため、これも複雑な作業となります。このツールキットは、これらの課題を解決するのに役立ちます。」

一方、Twitter API for Google Cloud Recent Search は、特定の検索クエリにマッチした過去 7 日間のツイートを返します。Prasanna 氏は次のように述べています。「30 分あれば誰でもこの Twitter API の基本を学ぶことができ、副次的な効果として Google Cloud Analytics やデータ サイエンスの基礎も学べます。」

ツールキットは、Twitter の新しいAPI v2（Recent Search と Filtered Stream）を活用し、ツイートのストレージに BigQuery、ビジネス インテリジェンスと可視化にデータポータル、データ パイプラインに App Engine を Google Cloud Platform 上で使用します。

「ツイートを返す Twitter の API はすべて JSON（JavaScript Object Notation）でエンコードされたデータを提供しているため、サーバーレスなだけでなく、マルチカーディナリティをサポートできるソリューションが必要でした。これは複雑な構造を持っているので、それを簡単に独自のスキーマに変換できるデータベースが必要でした。BigQuery は、そのための完璧なソリューションです」と Prasanna 氏は述べています。「BigQuery に取り込んだデータは、データポータルを使えば 10 分以内にグラフィック、スプレッドシート、Tableau などの形式で可視化できます。これにより、Twitter データ API の使用における摩擦がなくなり、デベロッパーのエクスペリエンスが大幅に向上します。」

価値創造までの時間を 60 時間から 60 分へ短縮

これまで、Twitter API のデベロッパーは、Twitter のデータからインサイトを得るために、より大量のツイートを処理、分析、可視化することに取り組んできました。Twitter のデータの価値を検証し始める前の最初のステップとして、データ パイプラインを構築し、ストレージ ソリューションを選択し、分析用と可視化用のツールを選択する必要がありました。

Prasanna 氏は次のように説明しています。「ビジネス ユースケースに活かせるインサイトを探すためにテクノロジーを選択し、データ パイプラインを構築するプロセスに、デベロッパーは 60 時間以上の時間を費やす場合があります。また、スタックのセットアップに時間をかけた後、探しているものが実際に存在するかどうかを確認するために、データを整理する必要があります。」

さて、このツールキットは、データベースとしての BigQuery や App Engine によるコンピューティング レイヤなど、動作に必要な基礎となるインフラストラクチャをプロビジョニングしているため、ボタンをクリックするだけでデータ処理の自動化が可能です。これにより、デベロッパーはデータポータルを使用して、60 分以内にビジネス インテリジェンス ツールへのツイートのインストール、構成、可視化を行うことができます。

「当社は、データの接続、消費、保存、分析のためのツールを十分に備えたパートナーと連携する一方、豊富なリソースを持たない組織のデベロッパーとも共同作業を行っています。このツールキットは、コミットメントを行う前に、迅速にプロトタイプを作成してツイートから価値を実現できるようにすることを目的としています」と Twitter のソリューション アーキテクチャ責任者である Nikki Golding 氏は述べています。

デベロッパーのために次を作り続ける

Google Cloud と協力してツールキットを実現する中で、Twitter チームは Google Cloud Platform 内にどのような公開データセットが存在し、暗号から天気に至るまで、Twitter で多くの会話が発生するトピックをどのように補完できるかを考えはじめました。Nikki 氏は、次のように述べました。「デベロッパーが両方のプラットフォームにアクセスし、活用できる面白い方法はないかと考えました。Twitter のデータ単体でも高い価値がありますが、Google Cloud Platform に常駐しているデータもあり、ツールキットの利用者をさらにサポートできます。Google Cloud Platform のインフラストラクチャと Application as a Service と Twitter の Data as a Service の組み合わせは、当社が目指しているビジョンです。」

次に、Twitter チームは、これらのデータ分析ツールを、技術系チームと非技術系チームの両方において、あらゆる意思決定者の手に届くようにすることを目指します。Nikki 氏は次のように説明しています。「ブランドが自らデータを可視化し、スライスし、ダイスできるようにするために、当社は技術者以外に合わせたセルフサービス ツールを検討し、組織全体でデータの価値を民主化しようとしています。Google Cloud は、これまでの市場で最も簡単にローコード ソリューションを構築できるプラットフォームでした。したがって、Google Cloud とのコラボレーションを続け、最終的には、デベロッパーに頼らずに人々が必要なコンテンツや情報を見つけられるようにするノーコード ソリューションを立ち上げることを目指しています。今後の情報をお見逃しなく。」