检测图片中的文本

本页介绍了如何在 Google Distributed Cloud (GDC) 气隙设备上使用 Optical Character Recognition (OCR) API 检测图片文本。

GDC 空气隔离设备上的 Vertex AI OCR 服务使用 BatchAnnotateImages API 方法检测图片中的文本。该服务支持 JPEG 和 PNG 格式的图片文件。

准备工作

在开始使用 OCR API 之前，您必须有一个启用了 OCR API 的项目，并且拥有相应的凭据。 您还可以安装客户端库，以便调用 API。如需了解详情，请参阅设置字符识别项目。

检测 JPEG 和 PNG 文件中的文本

BatchAnnotateImages 方法可检测一批 JPEG 或 PNG 文件中的文本。 您直接在 API 请求中将要检测文本的文件作为内容发送。系统会在 API 响应中以 JSON 格式返回检测到的文本结果。

您必须为 API 请求的 JSON 正文中的字段指定值。下表介绍了使用 BatchAnnotateImages API 方法发出文本检测请求时必须提供的请求正文字段：

请求正文字段	字段说明
content	要检测的包含文字的图片。您提供二进制图片数据的 Base64 表示（ASCII 字符串）。 注意：您只能处理本地存储在 GDC 气隙设备环境中的图片。
type	您需要从图片中检测到的文字类型。 指定以下两种注解功能之一： TEXT_DETECTION 可检测并提取任何图片中的文本。JSON 响应包含提取的字符串、各个字词及其边界框。 DOCUMENT_TEXT_DETECTION 也可提取图片中的文本，但该服务会针对密集文本和文档优化响应。JSON 包含页面、文本块、段落、字词和换行信息。 如需详细了解这些注解功能，请参阅光学字符识别功能。
language_hints	可选。用于文本检测的语言列表。 系统会将此字段的空值解读为自动语言检测。 对于基于拉丁字母的语言，您无需设置 language_hints 字段。 如果您知道图片中文本的语言，设置提示有助于获得更好的结果。 语言提示的工作原理是怎样的？ language_hints 格式 使用以下 BCP 47 语言标记格式设置指南： language ["-" script] ["-" region] *("-" variant) *("-" extension) ["-" privateuse]。 例如，语言提示“en-t-i0-handwrit”指定了英语 (en)、转换扩展单例 (t)、输入法引擎转换扩展代码 (i0) 和手写转换代码 (handwrit)。这大致表示语言是“从手写转换而来的英语”。 您无需指定脚本代码，因为“en”语言隐含了 Latn。 如需查看支持的语言列表，请参阅 支持的语言。

发出 API 请求

使用 REST API 方法向 OCR 预训练 API 发出请求。否则，请通过 Python 脚本与 OCR 预训练 API 交互，以检测 JPEG 或 PNG 文件中的文本。

注意： BatchAnnotateImages API 方法仅支持在每次批量调用中发送一个请求。

以下示例展示了如何使用 OCR 检测图片中的文字：

REST

如需使用 REST API 方法检测图片中的文字，请按以下步骤操作：

1. 保存以下 request.json 文件作为请求正文：

   cat <<- EOF > request.json
   {
     "requests": [
       {
         "image": {
           "content": BASE64_ENCODED_IMAGE
         },
         "features": [
           {
             "type": "FEATURE_TYPE"
           }
         ],
         "image_context": {
           "language_hints": [
             "LANGUAGE_HINT_1",
             "LANGUAGE_HINT_2",
             ...
           ]
         }
       }
     ]
   }
   EOF
   

   替换以下内容：

   • BASE64_ENCODED_IMAGE：二进制图片数据的 Base64 表示（ASCII 字符串）。此字符串以类似于 /9j/4QAYRXhpZgAA...9tAVx/zDQDlGxn//2Q== 的字符开头。
   • FEATURE_TYPE：您需要从图片中检测出的文本类型。允许的值为 TEXT_DETECTION 或 DOCUMENT_TEXT_DETECTION。
   • LANGUAGE_HINT：用作文本检测语言提示的 BCP 47 语言标记，例如 en-t-i0-handwrit。此字段是可选字段，系统会将空值解读为自动语言检测。

2. 获取身份验证令牌。

3. 发出请求：

   curl

   curl -X POST \
     -H "Authorization: Bearer TOKEN" \
     -H "x-goog-user-project: projects/PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     https://ENDPOINT/v1/images:annotate
   

   替换以下内容：

   • TOKEN：您获得的身份验证令牌。
   • PROJECT_ID：您的项目 ID。
   • ENDPOINT：您组织使用的 OCR 端点。如需了解详情，请查看服务状态和端点。

   PowerShell

   $headers = @{
     "Authorization" = "Bearer TOKEN"
     "x-goog-user-project" = "projects/PROJECT_ID"
   }
   
   Invoke-WebRequest
     -Method POST
     -Headers $headers
     -ContentType: "application/json; charset=utf-8"
     -InFile request.json
     -Uri "ENDPOINT/v1/images:annotate" | Select-Object -Expand Content
   

   替换以下内容：

   • TOKEN：您获得的身份验证令牌。
   • ENDPOINT：您组织使用的 OCR 端点。如需了解详情，请查看服务状态和端点。

Python

按照以下步骤操作，使用 Python 脚本中的 OCR 服务检测图片中的文本：

1. 安装最新版本的 OCR 客户端库。

2. 在 Python 脚本中设置所需的环境变量。

3. 对 API 请求进行身份验证。

4. 将以下代码添加到您创建的 Python 脚本中：

   from google.cloud import vision
   import google.auth
   from google.auth.transport import requests
   from google.api_core.client_options import ClientOptions
   
   audience = "https://ENDPOINT:443"
   api_endpoint="ENDPOINT:443"
   
   def vision_client(creds):
     opts = ClientOptions(api_endpoint=api_endpoint)
     return vision.ImageAnnotatorClient(credentials=creds, client_options=opts)
   
   def main():
     creds = None
     try:
       creds, project_id = google.auth.default()
       creds = creds.with_gdch_audience(audience)
       req = requests.Request()
       creds.refresh(req)
       print("Got token: ")
       print(creds.token)
     except Exception as e:
       print("Caught exception" + str(e))
       raise e
     return creds
   
   def vision_func(creds):
     vc = vision_client(creds)
     image = {"content": "BASE64_ENCODED_IMAGE"}
     features = [{"type_": vision.Feature.Type.FEATURE_TYPE}]
     # Each requests element corresponds to a single image. To annotate more
     # images, create a request element for each image and add it to
     # the array of requests
     req = {"image": image, "features": features}
   
     metadata = [("x-goog-user-project", "projects/PROJECT_ID")]
   
     resp = vc.annotate_image(req,metadata=metadata)
   
     print(resp)
   
   if __name__=="__main__":
     creds = main()
     vision_func(creds)
   

   替换以下内容：

   • ENDPOINT：您组织使用的 OCR 端点。如需了解详情，请查看服务状态和端点。
   • BASE64_ENCODED_IMAGE：二进制图片数据的 Base64 表示（ASCII 字符串）。此字符串以类似于 /9j/4QAYRXhpZgAA...9tAVx/zDQDlGxn//2Q== 的字符开头。
   • FEATURE_TYPE：您需要从图片中检测出的文本类型。允许的值为 TEXT_DETECTION 或 DOCUMENT_TEXT_DETECTION。
   • PROJECT_ID：您的项目 ID。

5. 保存 Python 脚本。

6. 运行 Python 脚本以检测图片中的文本：

   python SCRIPT_NAME
   

   将 SCRIPT_NAME 替换为您为 Python 脚本指定的名称，例如 vision.py。