【Next Tokyo ’23】アーカイブ公開！来場者評価が高かったセッションも
Google Cloud Japan Team
基調講演は先行して配信しておりましたが、ブレイクアウト セッション、スポンサー セッションなど、100 セッション以上を本日、追加で公開しました。セッションの復習に、新たな学びのきっかけに、ぜひこちらからご自身のペースでご視聴ください。今回は、その中でも特に来場者からの評価が高かった下記の 4 つの Google セッションを紹介します。
- 大解剖！Google Cloud ネットワーキング サービス (Google Cloud | 有賀征爾)
- 生成 AI のマルチモーダル技術ー「視覚を持った LLM」ができること (Google Cloud | 佐藤一憲)
- これからはじめる Vertex AI Codey と Duet AI のアプリ開発 (Google Cloud | 諏訪悠紀)
- BigQuery と PaLM で進化するデータ分析 (Google Cloud | 村上 祐磨)
大解剖！Google Cloud ネットワーキング サービス
Google Cloud のネットワーキング サービスはここ 1、2 年の間に大きく進化しており、それにともなってベスト プラクティスも変わってきています。このタイミングでネットワーキング サービスの進化を総ざらいし、すでに Google Cloud をお使いの皆さまにはより効果的に、そして、これからご利用になる皆さまはスムーズに、それぞれご利用いただけるよう最新情報をご提供します。
まず、どうサービスやネットワークをつなぐかという話です。ここでは、オンプレミスネットワーク同士の接続だったり、VPC 同士の接続だったりに有効な Network Connectivity Center や他社クラウドへマネージドな専用線でつなげる Cross-Cloud Interconnect について解説しました。最近イチオシなのは、この Private Service Connect というサービスです。これはサービス指向の接続で、IP 的なコネクティビティがなくても、サービスのエンドポイントを作ることでサービスに接続できる、といったものです。この場合のサービスには Google Cloud のサービスや、お客さまが作られた独自のサービスだけでなく、データベースなどの「サードパーティ」も含まれてます。また、図の下の方にあるように、エンドポイントが散らばってしまわないように、ロードバランサーで集約して一つのエンドポイントとして提供することも可能です。今までは IP 的にネットワークをどうつなぐか、という視点が強かったと思うんですが、これからはぜひこの Private Service Connect を活用して、IP 接続によらないサービス指向接続にも目を向けていただけると幸いです。
次に、どうサービスを提供するのかについての話です。ここでは、さまざまなロードバランサーと機能について取り上げましたが、ここ一年くらいでロードバランサーの呼び方が少し変わりました。HTTP ベースのロードバランサー、これは必然的にプロキシ型ですが、アプリケーションロードバランサー 、ALB、と呼びます。それ以外の TCP/UDP ベースのロードバランサーはネットワークロードバランサー、NLB と呼び、プロキシ型とパススルー型に分かれてます。ちなみに UDP はプロキシできないので、必ずパススルー型です。グローバルなアプリケーションロードバランサーには歴史的な経緯で、GFE2 ベースのものと GFE3 ベースのものがあります。GFE3 はオープンソースの Envoy というロードバランサーをベースにしています。
最後にネットワークセキュリティの話です。Google Cloud の WAF / DDoS 対策に使っていただけるサービスは Cloud Armor になります。Cloud Armor は エッジロケーションでロードバランサーと一緒に動作してます。つまりリージョンにあるお客さまのバックエンドよりも、ずっとエンドユーザーに近いところで防御をおこなっています。Cloud Armor も継続的に機能を追加しています。Cloud Armor を使っておられる場合、「レートリミット」と「脅威情報にもとづく防御」は特にオススメの機能です。レートリミットはリクエストをクライアントの単位で絞ることができるので、たとえば単一の攻撃者が大量の、たとえばパスワード攻撃をおこなっている場合、それを簡単に防御できます。また、脅威情報にもとづく防御を使うと、IPアドレスのカテゴリ情報を使うことができ、悪性 IP と呼ばれる問題のある活動が記録された IP や、オープンプロキシ、他のクラウドからの接続といったものをブロックできます。他にも、様々なネットワークサービスがありますので、詳しくは、アーカイブ配信を試聴ください。
生成 AI のマルチモーダル技術ー「視覚を持った LLM」ができること
企業は既存の IT システムやビジネスデータに生成 AI や LLM をどう統合すれば良いかという課題に直面しています。モデルの記憶力の制約や、予期しない挙動（ハルシネーション）への対処について検討しなければなりません。エンベディングとベクトル検索を利用したグラウンディングによりこれらの課題に対する効果的な解決策を提供します。
例として、800 万件の Stack Overflow 質問に対するセマンティック検索デモを紹介します。デモはこちら（STACKOVERFLOW (TEXT）を選択）からどなたでもアクセスすることができます。このデモを実現するカギとなる技術は、「Vertex AI Embeddings for Text」 で生成されるエンべディングと、「Vertex AI Vector Search」による高速かつスケーラブルなベクトル検索です。
エンベディングとは、テキスト、画像、動画、ユーザー、音楽など、ほとんどすべての種類のデータを、空間内の点（ベクトル）として表現する手法です。つまり、意味の地図における座標ととらえることができます。Vertex AI Embeddings for Text を使えば、テキストから 768 次元のエンベディングを生成し、深い意味理解を実現できます。ビジネスデータの意味解釈やセマンティック検索に利用できます。
エンベディング空間におけるセマンティック検索とは、つまり「あるエンべディングのそばにあるエンべディングを見つける」ことです。
2020 年、Google Research は ScaNN という新しい ANN アルゴリズムを発表し、これは、 Google 検索や YouTube などの主要な Google サービスにおける情報検索やレコメンデーションの基盤としても非常に重要な役割を担っています。Google Cloud ユーザーであれば、この Google のベクトル検索技術を Vertex AI Vector Search を通じて最大限に活用できます。
さて、LLM で画像を理解するにはどうすればいいでしょうか。例えば、数 100 万枚の製品画像の意味を人と同じように理解し、検索や推薦システムの構築に利用できないでしょうか？LLM の賢さを利用し、製品検査画像やセキュリティカメラ画像から異常を検知できないでしょうか？ここでは、600 万件のメルカリ出品商品を画像検索するデモを紹介します。このデモはこちら（MERCARI TEXT-TO-IMAGE もしくは IMAGE-TO-TEXT を選択）からどなたでもアクセスすることができます。
このデモのユニークな点は、マルチモーダルによるセマンティック検索を行っているという点です。画像のエンベディングと文章のエンベディングが同じようになるようにマルチモーダルなエンべディング空間を作っています。詳しくは、アーカイブ配信を試聴ください。
これからはじめる Vertex AI Codey と Duet AI のアプリ開発
このセッションでは、Vertex AI Codey や Duet AI for Workstations といった開発者向け生成 AI サービスはどのような特徴があって、どういう場面で活用すれば良いのかイチから解説しました。
こちらは、Vertex AI Codey と Duet AI in Google Cloud の関係性を表した図です。
左側にある Vertex AI Codey は、コーディングに特化したモデルを API で提供するサービスです。API を直接呼び出すことで、コード生成やコード補完といった機能を利用できます。
右側、Duet AI in Google Cloud は、Google Cloud の AI アシスト機能の総称、と言う位置付けです。例えば BigQuery のクエリエディタ内のクエリ生成や、Cloud Code でのコード生成、Cloud Logging のログの解説、などがあります。そして、これらの AI アシスト機能の一部に、Codey が利用されているという関係性になっています。
使い分けの例としては、例えば生成 AI を使って普段の業務を改善したい場合は Duet AI を使い、生成 AI を活用した開発支援ツールを自分で作りたい場合は Codey を使う、といったような使い分けのイメージになります。
Vertex AI Codey
Codey は、主要なプログラミング言語をサポートしており、今年 8 月に日本語をサポートするようになりました。モデルはユースケースごとに、「Code Generation」、「Code Chat」、「Code Completion」 の3つを提供しています。「Code Generation」 は、自然言語による指示 (プロンプト) を元にコードブロックを生成するモデルです。「Code Chat」 は、ボットを通じ、コーディングに関するマルチターン型の会話ができるモデルです。「Code Completion」 は、コーディング中のコードの内容を理解し、次の数行のコードを低レイテンシーで補完するモデルです。また、Codey のモデルのファイン チューニングを行うことが可能です。内製で開発した、外部公開していない SDK やライブラリの使い方を教えるなどといった場合や、社内のコーディング規約に沿ったコードを生成してほしいなどといった場合に検討するといいでしょう。
Duet AI in Google Cloud
Duet AI はシンプルに説明すると、Google Cloud の AI アシスト機能の総称です。ここで解説する「開発の支援」以外にも、「運用の支援」だったり、「データ活用の支援」、「ノーコード開発の支援」、そして「セキュリティの支援」など多岐に渡り対応しています。「開発の支援」では、コードの生成や補完、解説、テストコードの生成、チャットでの質問についてデモが行われていますので、是非アーカイブ配信を試聴ください。
BigQuery と PaLM で進化するデータ分析
このセッションでは、最近搭載された BigQuery の新たな分析体験や機械学習機能を紹介します。また Vertex AI の大規模言語モデル (LLM) を BigQuery から直接呼び出し、感情分析やエンティティ抽出、埋め込みやベクトル検索など高度なユースケースで手軽に活用する方法について紹介します。
まず、新たな分析体験 BigQuery Studio、データに関わる皆様がデータ分析や機械学習開発を行うためのコラボレーション可能なワークスペースです。開発環境といってもいいかもしれません。BigQuery Studio という環境には様々な機能が統合されています。
大きなものは Colab Enterprise のインテグレーション。 Colab Enterprise は Google が提供する新たなエンタープライズ向けの Jupyter Notebook 環境です。インスタンスを管理する必要がなくすぐにノートブックを開発できて、計算を回す必要があるときに初めてランタイムを起動して計算を回す。インスタンス管理の手間が少なくて起動も早い非常に便利な環境です。これにセキュリティやガバナンスなどの機能を強化し、エンタープライズでも使用できるようにもなっています。この Colab Enterprise が BigQuery に統合されました。他にも、Dataplex で提供されているデータプロファイルやデータ品質、リネージなどの情報も BigQuery のコンソールで確認できるようになりました。
次に、注目したいのは BigQuery DataFrames です。普段の Python の pandas や scikit-learn の書き心地で、BigQuery のパワーを使えてしまうというものです。パッケージは 2 つあり、1 つ目が pandas ライクな API を提供する bigframes.pandas、2 つめが scikit-learn ライクな API を提供する bigframes.ml です。
次に、BigQuery に最近どんどん搭載されている機械学習関連機能についてです。BigQuery から PaLM を呼び出せるようになりました。Vertex AI 上にホストされている Google Cloud の大規模言語モデル PaLM。BigQuery 上のデータをプロンプトにして入力し、その結果を得ることができるようになりました。
また、下記のようなデモが行われているので、興味のある方はぜひアーカイブ配信を試聴ください。
- 「SQL もいいけれど、（普段 LLM 開発に使っている）Python から扱いたい。 bigframes をフル活用し、BigQuery と LLM のパワーを“いつもの Python” で使ってみよう」
- 「〇〇に役立つ Python パッケージを LLM に聞いたら存在しないパッケージが提案された… 埋め込みとベクトル検索を活用し、実在するパッケージの中から適切なものを推薦してもらおう」
☁︎来年は横浜でお会いしましょう！
来年の「Next Tokyo」は、2024 年 8 月 1 日と 2 日に横浜で開催されます。ぜひ、この日程を空けておいてください！
Next Tokyo ’24 のスポンサー プログラムに関するお問い合わせはこちらで承っております。
その他のお問い合わせは以下にお願いいたします。
Google Cloud Next Tokyo 運営事務局
E-mail: gc-nexttokyo-info@google.com
