インテリジェントなデータ準備
Cloud Dataprep by Trifacta は、分析、レポート、機械学習に使用する構造化データと非構造化データを視覚的に探索、クリーニング、準備できるインテリジェント データ サービスです。Cloud Dataprep はサーバーレスで、規模に関係なく稼働します。デプロイや管理が必要なインフラストラクチャはありません。また、理想的なデータ変換操作が UI 入力のたびに提案、予測されるため、コードを書く必要がありません。
新機能
サーバーレスのシンプルさ
Cloud Dataprep は、Google パートナーの Trifacta が運営する統合パートナー サービスであり、業界トップクラスのデータ準備ソリューションをベースにしています。Google は Trifacta との緊密な連携によってシームレスなユーザー エクスペリエンスを実現しています。そのため、事前のソフトウェア インストールと追加のライセンス費用は不要で、継続的な運用オーバーヘッドも発生しません。Cloud Dataprep はフルマネージドで、お客様のデータ準備ニーズに応じてオンデマンドでスケーリングされるので、お客様は分析に専念できます。
迅速なデータ探索と異常の検出
視覚的なデータ分布により、データを瞬時に把握し、探索できます。Cloud Dataprep はスキーマ、データ型、可能な結合、異常（欠損値、外れ値、重複値など）を自動的に検出するので、時間のかかるデータ品質評価作業を省略して、すぐにデータの探索と分析に着手できます。
簡単かつパワフルなデータ準備
Cloud Dataprep は、最適なデータ変換操作を UI で操作を行うたびに自動で提案、予測します。変換のシーケンスを定義しておけば、Cloud Dataprep は内部的に Cloud Dataflow を使用し、あらゆるサイズの構造化データセットまたは非構造化データセットをわずか数回のクリックで処理できるようにします。そのため、コードを記述する必要がなくなります。
Cloud Dataprep の特長
Standard Edition と Premium Edition
予測変換
Cloud Dataprep は独自の推定アルゴリズムを使用し、ユーザーのデータ選択からデータ変換の意図を推定します。これにより、ランク付けされた候補セットと、選択されたデータに一致するパターンが自動的に生成されます。
充実した変換
何百もの変換関数を利用して、データを必要なアセットに変換します。マウスを 1 回クリックするだけで、集約、ピボット、アンピボット、結合、ユニオン、抽出、計算、比較、条件、マージ、正規表現などを適用できます。
パラメータ化
更新ごとに変更されるファイルパスの一部を変数としてパラメータ化することで、同一データセットの複数インスタンスに対して同じレシピを実行できます。この変数は、ジョブ実行時に必要に応じて変更できます。
共同作業
チームの共同作業では、複数のユーザーが同じアセットで作業したり、質の高いアセットのコピーを作成して他のユーザーがテンプレートとして使用したりできると効率的です。Cloud Dataprep を使用すると、ユーザーは同じフロー オブジェクトでリアルタイムに共同作業できます。また、他のユーザーが別の作業に使用するためのコピーを作成することもできます。
パターン マッチング
列パターン マッチングを使用すると、関心のあるデータパターンを特定し、それらをインターフェースに表示してレシピの作成に使用できます。さらに、レシピステップでは、正規表現や Cloud Dataprep パターンを適用して、パターンを検索したり、データセット内の一致するデータを変換したりできます。
標準化
スペルや言語に依存しない発音に基づく類似性で値をグループ化し、一貫性のある値の標準化されたクラスタを作成します。
アクティブ プロファイリング
インタラクティブな視覚的分布の形でデータを表示して探索することで、検出、クレンジング、変換を容易にします。データを視覚的に示すことによって、大量のデータも解釈しやすくなります。また、Cloud Dataprep の革新的なプロファイリング技術により、重要な統計情報が動的かつ使いやすい形式で可視化されます。
サンプリング
Cloud Dataprep は、パフォーマンスを最適化するために、クライアント アプリケーションでの表示と操作に使用するデータサンプルを 1 つ以上生成します。ただし、こうしたサンプルのサイズ、範囲、作成方法は簡単に変更できます。
スケジュール
フロー内のレシピを繰り返し実行するか、必要に応じて実行するかをスケジュール設定できます。スケジュール設定したジョブが正常に実行されると、指定した出力場所（指定した公開形式で利用できる場所）で、ラングリングされた出力を収集できます。
高速のターゲット設定
インポートまたは作成したデータセットを使用してターゲット スキーマを定義し、既存のレシピに割り当てることで、ラングリングの作業を体系化してスピードアップします。ターゲットは Transformer ページに表示され、ラングリングする必要のあるデータセット全体か、データセットの選択した列に対して適用できます。
一般的なデータ型
CSV、JSON、リレーショナル テーブル形式で保存された構造化データセットまたは非構造化データセットを、メガバイトからペタバイトまで、サイズを問わず同じように簡単に変換できます。
Google Cloud Platform に統合
Cloud Storage または BigQuery に保存されたデータ、あるいはパソコンのデータを処理できます。その後、調整したデータを保存、分析、可視化、または機械学習に使用する目的で、BigQuery または Cloud Storage にエクスポートできます。Cloud Identity and Access Management によって、ユーザー アクセスとデータ セキュリティがシームレスに管理されます。
接続性の向上
BigQuery、Cloud Storage、Microsoft Excel、Google スプレッドシートの標準接続に加えて、Salesforce、Oracle、Microsoft SQL Server、MySQL、PostgreSQL のデータソースを使用してセルフサービス分析を強化できます。
データ パイプラインのオーケストレーション
データ準備ジョブを順次、条件付きで連鎖させて、自動化機能を強化します。成功または失敗についてユーザーに通知し、外部タスク（Cloud Functions など）をトリガーします。包括的な API を活用することで、企業のエンドツーエンド ソリューションの一環として Cloud Dataprep を統合できます。
エンタープライズ規模の運用化
エディションとバージョンにわたるレシピのインポート/エクスポート、フロー パラメータ、Google Dataflow パフォーマンス チューニングのカスタム構成、およびソフトウェア開発ライフサイクルとモニタリングを自動化する高度な API により、継続的デプロイ プラクティスを採用します。
データ品質ルール
データ品質ルールは、データの精度、完全性、整合性、有効性、一意性をモニタリングし、改善するためのデータ品質インジケーターを提案します。これにより、データのクリーンさについて全体像を把握できます。
高度なセキュリティ設定
Google IAM のロールと、BigQuery、Cloud Storage、Google スプレッドシートのアクセスを決定するアクセス権を組み合わせて使用し、個々のデータアクセスを制御することで、現在のセキュリティ基準を拡張します。
Cloud Dataprep のアーキテクチャ
導入事例
リソース
Cloud Dataprep のクイックスタート ガイド
Cloud Dataprep プロダクトのお知らせと最新情報
Stack Overflow で他の Cloud Dataprep ユーザーと交流する
Cloud Functions を使用してファイルの到着時に Cloud Dataprep のパイプラインを自動実行する
Cloud Dataprep の操作のセルフペース ラボ
BigQuery ML、Cloud Dataprep、Cloud Composer による ML の自動化
マーケティング データ ウェアハウスの構築
IoT Core データを Cloud Dataprep にストリーミングする方法
料金
Cloud Dataprep は、サンプルデータを操作してデータ準備のルールを定義できる、インタラクティブなウェブ アプリケーションです。データセット全体に対してフローを実行する場合は、フローを Cloud Dataprep ジョブとして実行することもできます（Google Cloud Dataflow を使用）。料金は設計と実行の 2 つの変数に分けられます。設計はプロジェクト単位で料金が計算され、ユーザー数に上限はありません。実行料金は、Dataprep でジョブを実行する Dataflow の使用量で構成されます。詳しくは、 Google Cloud Marketplace の料金ページをご覧ください。
$300 分の無料クレジットと 20 以上の Always Free プロダクトを活用して Google Cloud で構築を開始しましょう。