适用于旧版捆绑服务的 Blobstore API 概览

借助 Blobstore API,您的应用可以提供称为 Blob 的数据对象,这些数据对象的大小远远超过 Datastore 服务允许的上限。Blob 对于提供大型文件(如视频或图片文件)非常有用,并且支持用户上传大型数据文件。Blob 是通过 HTTP 请求上传文件而创建的。通常,您的应用会通过向用户显示包含文件上传字段的表单来完成此操作。在提交表单后,Blobstore 根据该文件的内容创建一个 Blob,并返回对该 Blob 的不透明引用,称为“Blob 键”,您此后可使用该键提供 Blob。应用可以响应用户请求提供完整的 Blob 值,也可以使用类似流文件的接口直接读取该值。

Blobstore 简介

Google App Engine 包含 Blobstore 服务,借助此服务,应用提供的数据对象仅受可通过单个 HTTP 连接上传或下载的数据量限制。这些对象称为“Blobstore 值”或“Blob”。Blobstore 值作为请求处理程序的响应提供,以通过 Web 表单上传内容的方式创建。应用不会直接创建 Blob 数据;而是通过提交的网络表单或其他 HTTP POST 请求间接创建 Blob。Blobstore 值可以使用 Blobstore API 提供给用户,也可以由应用在类文件流中访问。

为了提示用户上传 Blobstore 值,应用提供带有文件上传字段的 Web 表单。应用通过调用 Blobstore API 来生成表单的操作网址。用户的浏览器通过生成的网址将文件直接上传到 Blobstore。然后,Blobstore 会存储 blob,重写入请求以包含 blob 键,并将其传递给应用中的路径。位于应用中该路径的请求处理程序可以执行其他表单处理。

为了传送 Blob,您的应用将为传出响应设置标头,并且 App Engine 会使用 Blob 值替换该响应。

Blob 一旦创建便无法修改,但可以删除。每个 Blob 都具有相应的 Blob 信息记录(存储在数据存储区中),该记录提供有关 Blob 的详细信息(例如,创建时间和内容类型)。您可以使用 blob 键提取 blob 信息记录以及查询其属性。

应用可以使用 API 调用一次读取 Blobstore 值的一部分。读取部分的大小不得超过 API 返回值的大小上限。此大小略小于 32 兆字节,在 Java 中由常量 com.google.appengine.api.blobstore.BlobstoreService.MAX_BLOB_FETCH_SIZE 表示。应用只能通过用户上传的文件来创建或修改 Blobstore 值。

使用 Blobstore

应用可以使用 Blobstore 来接收用户上传的较大文件并提供这些文件。文件上传后,将称为 blob。应用不直接访问 blob,而是通过数据存储区中的 Blob 信息实体(由 BlobInfo 类表示)处理 Blob。

用户通过提交包含一个或多个文件输入字段的 HTML 表单来创建 Blob。您的应用将 blobstoreService.createUploadUrl() 设置为此表单的目的地(操作),并将应用中处理程序的网址路径传递给该函数。当用户提交表单时,用户的浏览器直接将指定文件上传到 Blobstore。Blobstore 重新编写用户的请求并存储上传的文件数据(将上传的文件数据替换为一个或多个相应的 Blob 键),然后将重新编写的请求传递给向 blobstoreService.createUploadUrl() 提供的网址路径处的处理程序。该处理程序会根据 blob 键进行额外的处理。

应用可以使用类文件流式接口读取 Blobstore 值的片段。请参阅 BlobstoreInputStream 类。

上传 blob

如需创建和上传 Blob,请执行以下步骤:

1. 创建上传网址

调用 blobstoreService.createUploadUrl 为用户将要填写的表单创建一个上传网址,并在表单的 POST 操作完成后传递要加载的应用路径。

<body>
    <form action="<%= blobstoreService.createUploadUrl("/upload") %>" method="post" enctype="multipart/form-data">
        <input type="file" name="myFile">
        <input type="submit" value="Submit">
    </form>
</body>

请注意,这是作为 JSP 创建的上传表单的示例。

2. 创建上传表单

表单必须包含文件上传字段,并且必须将表单的 enctype 设置为 multipart/form-data。当用户提交表单时,POST 由创建 Blob 的 Blobstore API 处理。该 API 还会为 Blob 创建信息记录,并将该记录存储在数据存储区中,然后将重写后的请求传递到应用的指定路径作为 Blob 键。

3. 实现上传处理程序

在此处理程序中,您可以将 Blob 键与应用数据模型的其他部分存储在一起。Blob 键本身仍然可以通过数据存储区中的 Blob 信息实体进行访问。请注意,用户提交表单并调用处理程序后,即已保存 Blob,并且 Blob 信息已添加到数据存储区中。如果应用不再需要 Blob,您应立即删除 Blob 以防止其成为孤立文件:

在以下代码中,getUploads 返回一组已上传的 blob。Map 对象是一个列表,它将上传字段的名称与它们包含的 Blob 相关联。

Map<String, List<BlobKey>> blobs = blobstoreService.getUploads(req);
List<BlobKey> blobKeys = blobs.get("myFile");

if (blobKeys == null || blobKeys.isEmpty()) {
    res.sendRedirect("/");
} else {
    res.sendRedirect("/serve?blob-key=" + blobKeys.get(0).getKeyString());
}

当 Blobstore 重写用户的请求时,上传文件的 MIME 部分将清空其正文,并且 Blob 键会添加为 MIME 部分标头。所有其他表单字段和部分都会予以保留,并传递给上传处理程序。如果您没有指定内容类型,Blobstore 会尝试根据文件扩展名推断内容类型。如果无法确定内容类型,则系统会为新创建的 Blob 指定 application/octet-stream 内容类型。

传送 Blob

为了提供 blob,您必须以应用中路径的形式包含 blob 下载处理程序。此处理程序应该将所需 Blob 的 Blob 键传递给 blobstoreService.serve(blobKey, res);。在此示例中,Blob 键作为网址参数 (req.getParameter('blob-key')) 传递给下载处理程序。实际上,下载处理程序可通过您选择的任意方式获取 Blob 键,例如,通过其他方法或用户操作。

public void doGet(HttpServletRequest req, HttpServletResponse res)
    throws IOException {
        BlobKey blobKey = new BlobKey(req.getParameter("blob-key"));
        blobstoreService.serve(blobKey, res);

Blob 可以从任何应用网址传递。如需在应用中传送 Blob,请在包含 Blob 键的响应中添加一个特殊标头。App Engine 会将响应正文替换为 Blob 内容。

Blob 字节范围

Blobstore 支持提供大值的一部份来响应请求,而不是提供完整的值。如需提供部分值,请在传出响应中包含 X-AppEngine-BlobRange 标头。其值是标准的 HTTP 字节范围。字节编号从零开始。空 X-AppEngine-BlobRange 指示 API 忽略范围标头并提供完整 Blob。示例范围包括:

  • 0-499 提供值的前 500 个字节(字节 0 到 499,含边界值)。
  • 500-999 提供从第 501 个字节开始的 500 个字节。
  • 500- 提供从第 501 个字节开始到值结束的所有字节。
  • -500 提供值的最后 500 个字节。

如果字节范围对 Blobstore 值有效,Blobstore 将向客户端发送 206 Partial Content 状态代码和请求的字节范围。如果范围对该值无效,Blobstore 将发送 416 Requested Range Not Satisfiable

Blobstore 不支持单个请求中的多个字节范围(例如 100-199,200-299),不论字节范围是否重叠都是如此。

完整示例应用

在以下示例应用中,应用的主网址会加载要求用户上传文件的表单,而且上传处理程序会立即调用下载处理程序来提供数据。这样做的目的是简化示例应用。在实际操作中,您可能不会使用主网址来请求上传数据,也不会立即提供您刚上传的 blob。

// file Upload.java

import java.io.IOException;
import java.util.List;
import java.util.Map;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import com.google.appengine.api.blobstore.BlobKey;
import com.google.appengine.api.blobstore.BlobstoreService;
import com.google.appengine.api.blobstore.BlobstoreServiceFactory;

public class Upload extends HttpServlet {
    private BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();

    @Override
    public void doPost(HttpServletRequest req, HttpServletResponse res)
        throws ServletException, IOException {

        Map<String, List<BlobKey>> blobs = blobstoreService.getUploads(req);
        List<BlobKey> blobKeys = blobs.get("myFile");

        if (blobKeys == null || blobKeys.isEmpty()) {
            res.sendRedirect("/");
        } else {
            res.sendRedirect("/serve?blob-key=" + blobKeys.get(0).getKeyString());
        }
    }
}

// file Serve.java

import java.io.IOException;

import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import com.google.appengine.api.blobstore.BlobKey;
import com.google.appengine.api.blobstore.BlobstoreService;
import com.google.appengine.api.blobstore.BlobstoreServiceFactory;

public class Serve extends HttpServlet {
    private BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();

    @Override
    public void doGet(HttpServletRequest req, HttpServletResponse res)
        throws IOException {
            BlobKey blobKey = new BlobKey(req.getParameter("blob-key"));
            blobstoreService.serve(blobKey, res);
        }
}

// file index.jsp

<%@ page import="com.google.appengine.api.blobstore.BlobstoreServiceFactory" %>
<%@ page import="com.google.appengine.api.blobstore.BlobstoreService" %>

<%
    BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();
%>

<html>
    <head>
        <title>Upload Test</title>
    </head>
    <body>
        <form action="<%= blobstoreService.createUploadUrl("/upload") %>" method="post" enctype="multipart/form-data">
            <input type="text" name="foo">
            <input type="file" name="myFile">
            <input type="submit" value="Submit">
        </form>
    </body>
</html>

// web.xml

<?xml version="1.0" encoding="utf-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xmlns="http://java.sun.com/xml/ns/javaee"
   xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
   xsi:schemaLocation="http://java.sun.com/xml/ns/javaee
   http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" version="2.5">

  <servlet>
    <servlet-name>Upload</servlet-name>
    <servlet-class>Upload</servlet-class>
  </servlet>

  <servlet>
    <servlet-name>Serve</servlet-name>
    <servlet-class>Serve</servlet-class>
  </servlet>

  <servlet-mapping>
    <servlet-name>Upload</servlet-name>
    <url-pattern>/upload</url-pattern>
  </servlet-mapping>

  <servlet-mapping>
    <servlet-name>Serve</servlet-name>
    <url-pattern>/serve</url-pattern>
  </servlet-mapping>

</web-app>

将图片服务与 Blobstore 结合使用

图片服务可以将 Blobstore 值作为转换的源数据。源图片的大小可以达到 Blobstore 值的大小上限。图片服务仍然将转换后的图片返回给应用,因此转换后的图片必须小于 32 兆字节。这对于针对用户上传的较大照片创建缩略图非常有用。

如需了解如何将图片服务与 Blobstore 值搭配使用,请参阅图片服务文档

将 Blobstore API 与 Google Cloud Storage 搭配使用

您可以使用 Blobstore API 将 blob 存储到 Cloud Storage 中,而不是存储到 Blobstore 中。您需要按 Google Cloud Storage 文档中的说明设置存储分区,还需要在 BlobstoreService createUploadUrl 中指定存储分区和文件名,并在 UploadOptions 参数中指定存储分区名称。在上传处理程序中,您需要处理返回的 FileInfo 元数据,并明确存储后续检索 Blob 所需的 Google Cloud Storage 文件名。

您还可以使用 Blobstore API 传送 Cloud Storage 对象。

以下代码段显示了如何执行此操作。此示例位于一个请求处理程序中,该处理程序可在请求中获取存储分区名称和对象名称。它使用提供的存储分区和对象名称创建 Blobstore 服务,并使用该服务为 Google Cloud Storage 创建 blob 键:

BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();
BlobKey blobKey = blobstoreService.createGsBlobKey(
    "/gs/" + fileName.getBucketName() + "/" + fileName.getObjectName());
blobstoreService.serve(blobKey, resp);

配额和限制

Blobstore 值中的空格会占用存储的数据量(计费)配额。数据存储区中的 blob 信息实体会计入数据存储区相关的限制。请注意,Google Cloud Storage 是付费服务;您需要按照 Cloud Storage 价格表支付费用。

如需详细了解系统范围的安全配额,请参阅配额

除系统范围的安全配额外,以下限制特别适用于 Blobstore 的使用:

  • 应用单次调用 API 可读取的 Blobstore 数据的大小上限为 32 兆字节。
  • 表单的单次 POST 操作最多可以上传 500 个文件。