信頼性と ML ワークフローの統合をさらに改善した AI Platform Prediction の一般提供を開始
Google Cloud Japan Team
※この投稿は米国時間 2020 年 9 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。
機械学習（ML）は、ビジネスと生活に変革をもたらしています。ML と予測は、ライドシェア パートナーの検索、商品や再生リストのおすすめ、画像内のオブジェクトの識別、マーケティング キャンペーンの最適化といったエクスペリエンスの中核を担っています。ML を活用して世界に革命を起こそうとしている企業をサポートするために、AI Platform は、あらゆる革新的な ML モデルをホストできる世界クラスのエンタープライズ対応プラットフォームの提供に取り組んでいます。
こうした継続的な取り組みの一環として、Google Kubernetes Engine（GKE）バックエンドを基盤とする AI Platform Prediction の一般提供が開始されました。新しいバックエンド アーキテクチャは、信頼性の向上、新しいハードウェア オプション（Compute Engine マシンタイプと NVIDIA アクセラレータ）による柔軟性の向上、オーバーヘッド レイテンシの削減、テール レイテンシの改善を重視して設計されています。ベータ版の期間中に利用可能だった自動スケーリング、アクセスログ、リクエストとレスポンスのロギングなどの標準機能に加えて、堅牢性、柔軟性、使いやすさを改善するための新機能をいくつか導入しました。
ハイメモリ、ハイ CPU のマシンタイプでの XGBoost と scikit-learn モデル: 多くのデータ サイエンティストは、本番環境での予測にシンプルでパワフルな XGBoost と scikit learn モデルを使用することを好みます。AI Platform を使用すると、これらのフレームワークを使用してトレーニングされたモデルを、数回のクリックで簡単にデプロイできます。選択したハードウェアの複雑なサービス インフラストラクチャへの対処は自動で行われます。
リソースの指標: 本番環境でモデルを維持するために重要なのは、GPU、CPU、RAM、ネットワークの使用率などのパフォーマンス特性を理解することです。これらの指標は、レイテンシを最小限に抑えてパフォーマンスを最適化するために、どのハードウェアを使用するべきかの判断に役立ちます。たとえば、モデルのレプリカ数の推移を確認することで、自動スケーリング モデルがトラフィックの変化にどのように応答するかを理解し、費用やレイテンシの最適化に向けて minReplicas を変更できます。Cloud Console 指標と Stackdriver 指標で、GCE マシンタイプにデプロイされたモデルのリソース指標を表示できるようになりました。
リージョン エンドポイント: 3 つのリージョン（us-central1、europe-west4、asia-east1）に新しいエンドポイントを導入し、リージョン間の分離による信頼性の向上を実現しました。リージョン エンドポイントにデプロイされたモデルは、その指定されたリージョン内に留まります。
VPC-Service Controls（ベータ版）: セキュリティ境界をユーザーが定義し、その境界内またはブリッジした別の境界内のリソースとサービスにのみアクセスできるオンライン予測モデルをデプロイできます。AI Platform の Online Prediction API の呼び出しは、その境界内から行われます。プライベート IP により、制限されたネットワークまたはセキュリティ境界内の VM とサービスは、公共のインターネットを経由せずに CMLE API にアクセスできます。
しかし、予測はトレーニング済みのモデルを提供するだけではありません。典型的な ML ワークフローには、モデルと予測の分析および理解が必要ですが、Google のプラットフォームは、他の重要な AI テクノロジーを統合して、ML ワークフローを簡素化し、生産性を高めます。
Explainable AI。ビジネスの理解を深めるには、モデルをより深く理解する必要があります。各リクエストからの予測に関する情報を提供する Explainable AI は、AI Platform でのみご利用いただけます。
What-if ツール。データセットを可視化し、プラットフォームにデプロイされたモデルの出力を詳細に把握します。
継続評価。モデルに送信されたリクエストの正解ラベルに基づいて、ライブモデルのパフォーマンスに関する指標を取得します。パフォーマンスの推移を基にモデルを再トレーニングまたは改善する決定を下します。
Waze のデータ サイエンティスト技術リーダーである Philippe Adjiman 氏は、次のように述べています。「[AI Platform Predictionは] 瞬時に堅牢なマネージド サービスレイヤをモデルに提供するため、速度が大幅に向上し、機能とモデリングの改善に集中できるようになりました。」AI Platform を採用した Waze のストーリーの詳細は、こちらからご覧ください。
これらの機能はすべて、エンタープライズ サポートを備えたフルマネージドのクラスタレス環境で利用できます。高可用性 GKE クラスタを独自に立ち上げて管理する必要はありません。また、割り当て管理を行って、クライアントが大量のトラフィックを送信することによる過負荷からモデルを保護します。マネージド プラットフォームのこうした機能を活用することで、データ サイエンティストやエンジニアは、インフラストラクチャの管理に煩わされることなく、ビジネス上の問題に集中できます。
-スタッフ エンジニア Robbie Haertel
-シニア エンジニア Bhupesh Chandra
