Dataflow ML

Dataflow ML では、Dataflow を使用して完全な機械学習（ML）パイプラインをデプロイおよび管理できます。ML モデルを使用して、バッチ パイプラインとストリーミング パイプラインでローカルとリモートの推論を行います。データ処理ツールを使用して、モデルのトレーニング用データを準備し、モデルの結果を処理します。
Dataflow ML について
画像のリアルタイム分類、リモート推論呼び出しの実行、カスタム モデルハンドラの構築など、完全な Dataflow ML のサンプルを確認できます。
導入事例を見る
MLTransform クラスを使用して、機械学習（ML）ワークフロー用のデータを前処理します。MLTransform は、複数のデータ処理変換を 1 つのクラスに統合することで、Apache Beam ML データ処理変換をワークフローに適用するプロセスを簡素化しています。
詳細 
with pipeline as p:
  predictions = (
      p
      | beam.ReadFromSource('a_source')
      | RunInference(MODEL_HANDLER))
RunInference の使用は、変換コードをパイプラインに追加するのと同じくらい簡単です。この例の MODEL_HANDLER はモデル構成オブジェクトです。 
with beam.Pipeline() as p:
  transformed_data = (
    p
    | beam.Create(data)
    | MLTransform(...)
    | beam.Map(print))
ML モデルのトレーニング用データを準備するには、パイプラインで MLTransform を使用します。MLTransform は、複数のデータ処理変換を 1 つのクラスにラップするため、さまざまな前処理タスクに 1 つのクラスを使用できます。

事前トレーニング済みモデルによる予測と推論

Pytorch で事前トレーニング済みモデルを使用します。
scikit-learn で事前トレーニング済みモデルを使用します。
TensorFlow で事前トレーニング済みモデルを使用します。
Apache Beam には、リモートでデプロイされた Vertex AI エンドポイントにリクエストを送信するためのサポートが組み込まれています。このノートブックでは、Vertex AI で画像分類に Apache Beam RunInference 変換を使用する方法について説明します。
同じ RunInference 変換で複数のモデルを使用するには、キー付きモデルハンドラで RunInference 変換を使用します。

MLTransform を使用したデータ処理

Apache Beam の MLTransform クラスと Vertex AI Text-embeddings API を使用して、テキスト エンベディングを生成します。テキスト エンベディングは、テキストを数値ベクトルとして表現する方法であり、多くの自然言語処理（NLP）タスクで必要になります。
Apache Beam の MLTransform クラスと Hugging Face Hub モデルを使用して、テキスト エンベディングを生成します。Hugging Face の SentenceTransformers フレームワークは、Python を使用して文、テキスト、画像のエンベディングを生成します。
データセットから一意の語彙を計算し、各単語またはトークンを個別の整数インデックスにマッピングします。この変換を使用して、テキストデータを ML タスクの数値表現に変換します。
ML モデルのトレーニングに使用できるように、データをスケーリングします。Apache Beam の MLTransform クラスには、複数のデータ スケーリング変換が含まれています。

ハブモデルによる予測と推論

推論パイプラインで Gemma モデルを使用して、感情分析を行うことができます。
Hugging Face のトレーニング済みモデルで RunInference 変換を実行します。
TensorFlow Hub のトレーニング済みモデルで TensorFlow の RunInference 変換を使用します。
生成 AI タスクに RunInference 変換を使用します。このノートブックは、Hugging Face Model Hub の言語モデルを使用します。

ML ワークフローのオーケストレーション

Vertex AI Pipelines では、ML ワークフローをサーバーレスな方法でオーケストレートすることで、ML システムの自動化、モニタリング、管理を行うことができます。Vertex AI Pipelines では、TFX または KFP で定義されたワークフロー DAG をオーケストレートし、Vertex ML Metadata を使用して ML アーティファクトを自動的に追跡できます。
TensorFlow Extended（TFX）を使用すると、Apache Beam および Dataflow ランナーとの統合が組み込まれたオーケストレーション フレームワークを使用して、完全な ML パイプラインをデプロイできます。
Kubeflow を使用すると、Kubernetes での ML ワークフローのデプロイがシンプルでポータブルかつスケーラブルになります。Kubeflow Pipelines は、Kubeflow Pipelines SDK を使用して構築された再利用可能な完全な ML ワークフローです。

モデルのメンテナンスと評価

RunInference を使用すると、Apache Beam パイプラインを停止せずにモデルを自動的に更新できます。副入力を使用して、パイプラインが実行中であっても、モデルをリアルタイムで更新します。
例を見る
TensorFlow Model Analysis（TFMA）を使用して、2 つのモデルを作成して比較することで、モデルのパフォーマンスを調査し、可視化します。Apache Beam を使用すると、複数のモデルを一度に評価して比較できます。
例を見る

リソース

Dataflow ジョブで GPU を使用すると、画像処理タスクと ML 処理タスクを高速化できます。
GPU の使用の詳細
Dataflow ML のサンプルを実行するには、Google Cloud の権限を構成する必要があります。Dataflow パイプラインに必要な権限に関する詳細なガイドをお読みください。
アクセス権限とは
サンプルと対応するソースコードは GitHub から入手できます。GitHub では、Colab でサンプルを実行する手順を確認することもできます。
GitHub で表示