デベロッパー

Google Cloud VMware Engine、PowerCLI と BigQuery による分析

2021年9月14日

Google Cloud Japan Team

Google Cloud を試す

$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう

※この投稿は米国時間 2021 年 8 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud Billing では、請求先アカウントの管理者が Google Cloud の請求データの BigQuery データセットへのエクスポートを構成し、分析や会社間のビルバック（費用の按分請求）などに利用できるようになっています。デベロッパーは、Google Cloud VMware Engine（GCVE）の構成と使用率データを抽出し、内部費用と価格データをそこへ当てはめることで、GCVE リソースについてのビルバックを可能にするカスタムレポートを作成することができます。Windows PowerShell のモジュールのコレクションである VMware PowerCLI を使用すると、データが抽出され、BigQuery に読み込まれます。BigQuery にデータが読み込まれると、アナリストは Looker や Google スプレッドシートを使用して請求レポートやダッシュボードを作成できます。

Google Cloud の請求データから BigQuery データセットへのデータのエクスポートは、比較的単純な作業です。ただし、GCVE から BigQuery にデータをエクスポートするには PowerShell スクリプトが必要です。以下のブログでは、GCVE からデータを抽出し、レポートや分析のために BigQuery に読み込む手順を詳しくご紹介します。

VMware PowerCLI インストールの初期セットアップ

VMware PowerCLI のインストールと構成の主な要件は PowerShell スクリプトの開発と実行に使用するホストと GCVE プライベートクラウドの間のネットワーク接続であり、比較的簡単なプロセスです。

[オプション A] 開発サーバーとして使用するために、たとえば Windows Server 2019 などの Google Compute Engine インスタンスをプロビジョニングします。
[オプション B] あるいは、Powershell 3.0 以上がインストールされた Windows ノートパソコンを使用します。
管理者として Powershell ISE を起動します。VMware PowerCLI や必要な依存関係をインストールして構成し、接続テストを実行します。

読み込んでいます...

参照: https://www.powershellgallery.com/packages/VMware.PowerCLI/12.3.0.17860403

VMware PowerCLI での開発

次に、データを抽出して BigQuery に読み込むスクリプトを開発します。なお、この作業にはデベロッパーにBigQuery データセットの作成、テーブルの作成、データの挿入を行う権限が必要です。コードサンプルを含むプロセスの例を以下に示します。

1. PowerCLI モジュールをインポートし、GVCE クラスタに接続します。

読み込んでいます...

2. （省略可）必要に応じて、vCenter シミュレータの Docker コンテナである nimmis/vcsim : vCenter と ESi API ベースのシミュレータを開発目的に合わせて活用します。vCenter シミュレータを設定する方法について詳しくは、次のリンクをご覧ください。https://www.altaro.com/vmware/powercli-scripting-vcsim/

3. BigQuery のデータテーブルを保存するデータセットを作成します。このデータセットには複数のテーブルを含むことができます。

読み込んでいます...

4. データを収集する vCenter のリストを作成します。

読み込んでいます...

5. ファイル名の変数を作成します。

読み込んでいます...

6. 簡単な VM インベントリの場合は、Get-VM コマンドレットを使用してデータを抽出します。また、Get-VMHost や Get-DataStore など、他のコマンドレットを使用してデータを抽出することもできます。vSphere デベロッパー向けドキュメントで利用可能なコマンドレットの詳しい情報や具体的な例をご確認ください。

読み込んでいます...

#Connect to a Server and Extract all VM’s including the following properties: CPU, RAM, Power State, Provisioned Space, Custom Fields
Connect-VIServer -Server $server -User $user -Password $password

#Optionally, connect using credentials stored in GCP Secret Manager (best practice)
$vcenter_u = (gcloud secrets versions access latest --secret=”vcenter_u”)
$vcenter_p = (gcloud secrets versions access latest --secret=”vcenter_p”) 
$pwd = ConvertTo-SecureString $vcenter_p -AsPlainText -Force
$cred = New-Object System.Management.Automation.PSCredential($vcenter_u,$pwd) 
Connect-VIServer -Server $server -Credential $cred

#Extract data for all VM’s including the specified fields
$vmData = (Get-VM | Select-Object -Property Name, CustomFields, NumCPU, MemoryGB, ProvisionedSpaceGB, PowerState, VMHost)

#example: esxi host info
#$esxiHosts = (Get-VMHost | Select-Object -Property Name,CpuUsageMhz,CpuTotalMhz, MemoryUsageGB, MemoryTotalGB, PowerState, NumCpu)

#example: datastore info
#$datastores = (Get-Datastore | Select-Object -Property Name, CapacityGB, FreeSpaceGB) 
 
#Create additional metadata fields as required. 
$run_date = [datetime]::Now.ToUniversalTime().ToString("s")
$run_id = New-Guid

#Loop through the VMs and append metadata

foreach ($vm in $vmData)
    {
        #Add metadata
        $vm | Add-Member -Type NoteProperty -Name "run_id" -Value $run_id.ToString()  -Force

$vm | Add-Member -Type NoteProperty -Name "run_date" -Value $run_date  -Force 
        
#Parse Custom Fields (if applicable), assuming that they are comma separated. This is useful when creating custom tags to identify a group of servers associated with an application or service. See the paragraph below on using custom tags for more information. 
        $custom = $vm | Select -ExpandProperty "CustomFields"
        foreach ($co in $custom)
        {
            if ($co.Key -eq "custom-tag") {
                $vm | Add-Member -Type NoteProperty -Name "custom-tag" -Value $co.Value.split(",")
            }
        }
       #Convert to Json
        $jsonline = $vm | ConvertTo-Json -Compress
       
       #Write content to the file  
       Add-Content $fileName $jsonline
    }

7. 必要に応じて、json データを表示 / 検証します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image5_FLGKE6n.max-800x800.max-800x800.png

8. BigQuery でテーブルを作成します。この作業を実行するのは一度だけでかまいません。下の例では、まず .json ファイルを Cloud Storage バケットに読み込み、その後、バケット内のファイルからテーブルを作成しています。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image3_YumJkX5.max-1300x1300.max-1300x1300.png

https://storage.googleapis.com/gweb-cloudblog-publish/images/image6_8SnxRO2.max-600x600_1.max-600x600.png

9. BigQuery にファイルを読み込みます。

読み込んでいます...

10. サーバーとの接続を解除します。

読み込んでいます...

11. 開発したスクリプトが必要なスケジュールで実行されるように、Windows タスクスケジューラや cron などのスケジューリングツールを使用してスケジュール設定することを検討してください。

12. BigQuery UI または Google データポータルを使用して、ステージングテーブルを参照するビューやクエリを作成し、レポート作成や分析に必要なデータを抽出して変換します。費用配賦や部門別のビルバックを可能にするため、BigQuery でコスト分析を行う際に使用する日付ディメンションテーブル、価格スケジュールテーブル、その他の関連するルックアップテーブルなどのサポートテーブルを作成することをおすすめします。BigQuery に Looker を使用して接続し、レポートやダッシュボードを作成します。

例: Google スプレッドシートから BigQuery に接続し、データをインポートします。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image2_j5dAmr3.max-600x600_1.max-600x600.png

https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_cjnk3qn.max-900x900.max-900x900.png

カスタムタグの使用

カスタムタグは、GCVE の管理者が VM を特定のサービスやアプリケーションに関連付けることを可能にし、ビルバックや費用配賦に役立ちます。たとえば、サービス名のカスタムタグが付いている VM（例: x-callcenter）をグループ化して、サービス提供に必要な直接コストを計算できます。ジャンプボックスや共有 VM には適宜タグを付け、グループ化することで、共有サービスや間接的な費用の配賦を行うことができます。カスタムタグを、プロビジョニングされている容量、利用されている容量、利用可能な容量などの主要な指標と組み合わせることで、GCVE の管理者はインフラストラクチャを最適化し、予算や会計の要件を満たすことができます。

Cloud Scheduler でスケジュール設定されたサーバーレスな請求データのエクスポート

PowerShell をスケジュールされたタスクとして実行するだけでなく、コンテナ内でスクリプトをホストし、ウェブサービスを使用してスクリプトの実行を可能にすることもできます。解決策としては、次のようなものがあります。

ubuntu 18.04 を実行する Docker ファイルを作成します。Python3、Powershell 7、VmWare Power CLI をインストールします。

requirements.txt の例:

読み込んでいます...

Docker ファイルの例:

読み込んでいます...

FROM ubuntu:18.04
RUN apt-get update
RUN apt-get install -y wget unzip apt-transport-https software-properties-common vim python3 python3-pip
RUN wget -q https://packages.microsoft.com/config/ubuntu/16.04/packages-microsoft-prod.deb
RUN dpkg -i packages-microsoft-prod.deb
RUN apt-get update
RUN apt-get install -y powershell
 
RUN wget https://vdc-download.vmware.com/vmwb-repository/dcr-public/8bf09c32-43c0-46d4-8816-92515c3b8228/15761272-b339-4da4-888a-4b8633f9a964/VMware-PowerCLI-11.3.0-13990089.zip -P /opt/microsoft/powershell/7/Modules
RUN unzip -d /opt/microsoft/powershell/7/Modules/ /opt/microsoft/powershell/7/Modules/VMware-PowerCLI-11.3.0-13990089.zip; exit 0
COPY requirements.txt ./
RUN pip3 install -r requirements.txt
# Copy local code to the container image.
ENV APP_HOME /app
WORKDIR $APP_HOME
COPY . ./
# Run the web service on container startup.
# Use gunicorn webserver with one worker process and 8 threads.
# For environments with multiple CPU cores, increase the number of workers
# to be equal to the cores available.
# Timeout is set to 0 to disable the timeouts of the workers to allow Cloud Run to handle instance scaling.
 
CMD exec gunicorn --bind :8080 --workers 1 --threads 8 
--timeout 0 main:app

2. main.py スクリプトでは、subprocess を使用して PowerShell スクリプトを実行します。コンテナを Container Registry に push し、コンテナをデプロイし、ELT を Cloud Scheduler を使用してスケジュール設定します。

読み込んでいます...

-Google Cloud プロフェッショナルサービス、戦略クラウドエンジニア Konrad Schieban
-Google Cloud プロフェッショナルサービス、戦略クラウドエンジニア Matthew Smith
-Google Cloud プロフェッショナルサービス、戦略クラウドエンジニア Mike Hilton

ハイブリッドクラウド