以下伪代码概述了您可以使用 Data Lineage API 从所有可用区域提取数据沿袭链接的过程。
- 输入设置:
linksToFetch= 5(要从所有区域提取的链接的数量)regionalPageToken= ""(用于分页的上次收到的区域页面令牌)
- 创建:
- 要扇出的所有区域的列表,名为
regions。 - 无法访问的区域列表,名为
unreachable。 - 发现的空链接列表,名为
foundLinks。 - 空变量
nextPageToken和nextRegionalPageToken。 - 空变量
lastRegion。 - 空变量
lastRegionLinksCount。
- 要扇出的所有区域的列表,名为
- 按字母顺序排序
regions。 - 解析
regionalPageToken- 如果为空,请继续执行第 5 步
- 如果不为空,请执行以下操作:
- 通过按第一个点拆分为两个段来解析
regionalPageToken - 通过仅获取解析后的
regionalPageToken中第一个段之后的(按字母顺序)区域来过滤掉区域。 - 存储第二个段以便在所有 projects.locations.searchLinks 调用中使用。
- 通过按第一个点拆分为两个段来解析
- 并行调用
regions列表中的每个区域的 projects.locations.searchLinks。 - 等待所有请求完成。
- 过滤掉成功响应,并将失败的区域名称存储在
unreachable列表中。 - 对于每个响应(从按字母顺序排列的第一个区域开始)
- 如果没有返回任何链接,但返回了非空页面令牌
- 将区域名称存储在
lastRegion中。 - 将收到的 pageToken 保存到
nextPageToken中。 - 忽略其余响应。
- 将区域名称存储在
- 否则
- 将区域名称存储在
lastRegion中。 - 在
foundLinks中保存收到的链接(最多linksToFetch个)。 - 将收到的 pageToken 保存到
nextPageToken中。 - 将响应中已获取的链接数量存储在
lastRegionLinksCount中。 - 如果
foundLinks小于linksToFetch- 继续按字母顺序使用下一个收到的响应来编写伪代码。
- 如果
foundLinks等于linksToFetch- 再次向同一区域中的 projects.locations.searchLinks 端点发出请求,但将
pageSize参数设置为lastRegionLinksCount的值。 - 将收到的 pageToken 存储在
nextPageToken中。 - 继续执行第 9 步
- 再次向同一区域中的 projects.locations.searchLinks 端点发出请求,但将
- 将区域名称存储在
- 如果没有返回任何链接,但返回了非空页面令牌
- 在
nextPageToken前面添加lastRegion(即[region].[receivedNextPageToken]),以创建nextRegionalPageToken来处理连续调用中的分页。