デベロッパー

Google Apps Script を使用したバッチリクエストによる効率的なファイル管理

2022年10月13日

Google Cloud Japan Team

※この投稿は米国時間 2022 年 9 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

概要

小規模なファイル管理ジョブであれば Google ドライブだけで処理できますが、大量のファイルのバッチ処理を行う場合、ドライブの単純なスクリプトだけで管理するのは難しくなります。Google Apps Script を使えば、大規模なバッチ処理でも 6 分以内で実行できるため、企業は効率的なファイル管理によって金銭的および時間的な恩恵を受けることができます。このレポートでは、Google Apps Script によってバッチリクエストのファイル管理がどのように改善するかを検証し、ベンチマークを測定してその有効性を判断します。

はじめに

Google Apps Script で少数のファイルを管理する必要がある場合は、Drive Service を活用してそのジョブを処理できます。とはいえ、ファイルの数が非常に多い場合は、Drive Service が作成するスクリプトのプロセスの負担が非常に大きくなることがあります。

公式の Drive API ドキュメントの「Batch requests（バッチリクエスト）」セクションでは、バッチ処理は複数のリクエストを処理できると説明されています。実際に、非同期プロセスは 1 回の API 呼び出しで最大 100 件の Drive API リクエストを処理できます。そのため、ファイル管理にバッチリクエストを使用すると、プロセスの負担を大幅に軽減することが可能になります。

問題となるのは、Google Apps Script の Drive Service を使用して実行される同期プロセスではバッチリクエストを利用できないということです。このことは、ユーザーは Google Apps Script のバッチレビューのために Drive API を簡単に使用することはできず、アプリ開発プロセス期間中に効率的にファイルを管理することで得られるプロセスの負担に関する恩恵を受けられないということを意味しています。

バッチ処理によってどのくらいの違いが生まれるかを示すために、この記事では効率的なファイル管理に関連するベンチマークを測定します。私は以前にも Google Apps Script のさまざまなベンチマークをレポートしたことがありますが、ファイル管理に関連するベンチマークを測定したのは今回が初めてです。

Google Apps Script のバッチリクエストを作成する

Google Apps Script のバッチリクエストを作成するには、まずリクエスト本文を作成して、それを “multipart/mixed” として送信する必要があります。Drive API のバッチリクエストに関する情報は公式ドキュメントにありますが、ここでもスクリプト例を紹介します。

読み込んでいます...

/**
 *バッチ リクエストのリクエスト本文を作成して、リクエストします。
 * 
 * @param {Object} object バッチのリクエスト本文を作成するためのオブジェクト.
 * @returns {Object} UrlFetchApp.HTTPResponse
 */
function batchRequests(object) {
  const { batchPath, requests } = object;
  const boundary = "sampleBoundary12345";
  const lb = "\r\n";
  const payload = requests.reduce((r, e, i, a) => {
    r += `Content-Type: application/http${lb}`;
    r += `Content-ID: ${i + 1}${lb}${lb}`;
    r += `${e.method} ${e.endpoint}${lb}`;
    r += e.requestBody ? `Content-Type: application/json; charset=utf-8" ${lb}${lb}` : lb;
    r += e.requestBody ? `${JSON.stringify(e.requestBody)}${lb}` : "";
    r += `--${boundary}${i == a.length - 1 ? "--" : ""}${lb}`;
    return r;
  }, `--${boundary}${lb}`);
  const params = {
    muteHttpExceptions: true,
    method: "post",
    contentType: `multipart/mixed; boundary=${boundary}`,
    headers: { Authorization: "Bearer " + ScriptApp.getOAuthToken() },
    payload,
  };
  return UrlFetchApp.fetch(`https://www.googleapis.com/${batchPath}`, params);
}

“object” の値の例は次のとおりです。

読み込んでいます...

このオブジェクトの例では、既存ファイルのファイル名は変更されます。Drive API v3 の場合、"batchPath" は "batch/drive/v3" になります。詳細については、Google API Discovery Service のドキュメントにある「batchPath」のエントリを参照してください。

Drive API とともにバッチリクエストを使用する場合、1 つのバッチリクエストに含められるリクエストの最大数が 100 であることにご注意ください。つまり、150 件のリクエストを行いたい場合は、この関数を 2 回実行する必要があります。

スクリプト例

このセクションでは、この関数で使用するバッチリクエストのスクリプト例を紹介します。このレポートのスクリプト例では Drive API を使用していますので、再現するためには Google の拡張サービスで Drive API を有効にする必要があります。

状況例 1

この状況例では、特定のフォルダのファイル名（この例では Spreadsheet）は変更されます。ここでは、ファイル数を変更してプロセスの時間を測定しました。

スクリプト例 1 - 1

このスクリプト例では Google ドライブサービスを使用します。

読み込んでいます...

スクリプト例 1 - 2

このスクリプト例では、Drive API をバッチリクエストとともに使用します。

読み込んでいます...

状況例 2

この状況例では、特定のフォルダに対して複数の Google スプレッドシートを作成して、各シートにスターを付けて特定のユーザーと共有します。ここでは、ファイル数を変更してプロセスの時間を測定しました。

スクリプト例 2 - 1

このスクリプト例では Google ドライブサービスと Google スプレッドシートサービスを使用します。

読み込んでいます...

スクリプト例 2 - 2

このスクリプト例では、Drive API をバッチリクエストとともに使用します。

読み込んでいます...

function sample2B() {
  const n = 10; // 例として、10 個のスプレッドシートを作成します。
  const folderId = "###"; // フォルダ ID を設定してください。
  const emails = ["###", "###"]; // 共有するユーザーを設定してください。

const parser_ = text => {
    const temp = text.split("--batch");
    const regex = new RegExp("{[\\S\\s]+}", "g");
    return temp.slice(1, temp.length - 1).map(e => regex.test(e) ? JSON.parse(e.match(regex)[0]) : e);
  };

// 新しいスプレッドシートを作成します。
  const requests1 = [];
  for (let i = 0; i < n; i++) {
    const name = `sample${i + 1}`;
    requests1.push({
      method: "POST",
      endpoint: "https://www.googleapis.com/drive/v3/files",
      requestBody: { name, parents: [folderId], mimeType: MimeType.GOOGLE_SHEETS, starred: true },
    });
  }
  const object1 = { batchPath: "batch/drive/v3", requests: requests1 };
  const res1 = batchRequests(object1);
  const text1 = res1.getContentText();
  if (res1.getResponseCode() != 200) {
    throw new Error(text1);
  }

// アクセス許可を作成します。
  const requests2 = parser_(text1).flatMap(({ id }) =>
    emails.map(emailAddress => ({
      method: "POST",
      endpoint: `https://www.googleapis.com/drive/v3/files/${id}/permissions`,
      requestBody: { role: "writer", type: "user", emailAddress }
    }))
  );
  const object2 = { batchPath: "batch/drive/v3", requests: requests2 };
  const res2 = batchRequests(object2);
  if (res2.getResponseCode() != 200) {
    throw new Error(res2.getContentText());
  }
}

結果と考察

上の 2 つの状況例の結果は次のとおりです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/Kanshi_image_1.max-1000x1000.png

図 1. バッチリクエストありの場合となしの場合のファイル名変更のプロセスの負担。青い線はバッチリクエストあり、赤い線はバッチリクエストなしを示している。

https://storage.googleapis.com/gweb-cloudblog-publish/images/Kanshi_Image_2.max-1000x1000.png

図 2. バッチリクエストありの場合となしの場合のスプレッドシートの作成と共有のプロセスの負担。青い線はバッチリクエストあり、赤い線はバッチリクエストなしを示している。

どちらの結果からも、Google ドライブでのファイルの管理にバッチリクエストを使用すると、プロセスの負担が抑えられることがわかります。図 1 では、ファイルのメタデータだけが変更されているため、ファイル名変更のプロセスの負担が小さくなっています。図 2 では、スプレッドシートを作成するプロセスの負担が大きくなっています。このことから、図 2 のプロセスの負担が図 1 のプロセスの負担よりも大きいことがわかります。

まとめ

ベンチマークの結果から、Google ドライブでのファイルの管理にバッチリクエストを使用すると、プロセスの負担を軽減できることがわかります。

バッチリクエストは、Drive API だけでなく、Calendar API、Gmail API、Directory API、Cloud Storage などの他の API でも使用できます。たとえば、Calendar API とともにバッチリクエストを使用すると、イベントの作成と更新のためのプロセスの負担を軽減できます。

デベロッパー