非结构化数据的核心特征在于其缺乏预定义的数据模型。这类数据以多种多样的格式呈现，例如文本、图片、视频、音频和物联网 (IoT) 遥测数据。与规整的电子表格数据不同，这类信息通常会以 PB 级的海量规模不断累积。它结构复杂、高度可变，并且处于不断的动态变化中。

处理这些自由格式的文件需要采用截然不同的技术方案，这主要源于以下几个核心原因：

• 传统数据库的不足之处：由于非结构化数据完全是自由格式，因此标准 SQL 数据库无法以原生方式读取或查询此类数据
• SQL 有明显的局限性：您无法通过编写简单的 SQL 命令来了解客户服务通话的整体情绪，也无法识别照片中的特定对象
• 需要专门的工具：为了解读这些信息，企业必须依赖专用解决方案
• AI 驱动分析：团队使用人工智能、机器学习和自然语言处理技术，从庞杂混乱的数据中扫描、解读并提炼价值

通过对比这几种格式，您可以更清晰地了解它们之间的区别与联系。结构化数据依赖 SQL，强制执行严格的数据架构，并且非常便于检索和查询。非结构化数据没有固定的架构，很难以原生方式进行检索，因而需要数据湖或 NoSQL 数据库解决方案。介于两者之间的则是半结构化数据（例如 JSON 或 XML），这类数据包含一定的组织性标记，但缺乏严格的关系型架构。

若要构建契合业务需求的数据流水线，您应当准确了解所处理的信息类型，以及企业团队实际如何利用 Google Cloud 数据库进行高效管理。您可以将非结构化数据划分为两大核心类别：人类生成的数据和机器生成的数据。

这些是您的用户和员工每天手动创建的内容示例。

• 文本文件与通信：在许多应用场景中，非结构化数据通常以海量邮件、聊天消息和客户支持工单的形式呈现
• 应用场景：开发者可以构建一个自然语言处理 (NLP) 流水线，将原始支持服务工单放入 Cloud Storage。随后，Gemini Enterprise Agent Platform 会对文本进行扫描以识别核心问题，系统随之会将这些新结构化的标签直接保存到 Firestore 数据库中。由于 Firestore 支持数据的即时同步，您的内部 Web 应用可实现实时更新，从而将紧急 Bug 直接分发路由至相应的工程团队。
• 富媒体：包括呼叫中心的音频文件、用户上传的图片和视频录像。
• 应用场景：如果您构建了一款保险应用，则需要一套能高效处理用户通过手机上传的车祸照片的方案。您可以将这些大型文件保存在 Cloud Storage 中，并使用机器学习模型评估其外观受损情况，最后将结构化的维修估算数据存储在 AlloyDB for PostgreSQL 数据库中。这有助于让您的标准企业级应用能够快速、可靠地获取 AI 结果。

电脑、传感器和服务器会在后台自动生成海量数据，无需任何人工干预。

• IoT 传感器数据与遥测数据：工厂设备、智能温控器和联网汽车会持续不断地传输原始数据。这些原始遥测数据大多采用复杂、嵌套和自由形式的格式。
• 应用场景：一家制造工厂每秒可传输数百万个原始音频与传感器事件。由于标准关系表无法承受这种数据接入速度，因此开发人员通常使用 Bigtable。Bigtable 能够无延迟地高效吸收这些高吞吐量的时间序列数据。随后，机器学习模型会读取这些数据，以识别出代表部件发生故障的特定声音，从而在设备发生实际故障之前触发预测性维护。
• 卫星图像和监控视频：安全摄像头和气象卫星会生成大量连续的视觉数据流。
• 应用场景：一家全球航运公司会产生庞大的原始卫星视频流。该公司可以经济高效地将这些庞大的文件存储在 Cloud Storage 中，使用计算机视觉识别货船，然后将这些结构化的位置更新推送到 Spanner。这有助于为其全球供应链应用提供具有高精准度、零停机时间的关系型数据库，以便快速查询实时追踪信息。

为了构建高可伸缩性的应用，开发者应根据其数据类型选择最匹配的存储环境。结构化数据与非结构化数据需要采用完全不同的底层架构，从而在保障卓越性能的同时将基础设施成本控制在合理范围内。

对于结构化数据，组织通常依赖于企业级数据仓库 (EDW)。该环境专为处理遵循严格规则和可预测格式的数据而设计。

• 您可以使用企业级数据仓库，集中管理来自多个关系型数据库的结构化信息，包括您的账单系统与客户关系管理 (CRM) 工具
• 您的团队必须在保存数据之前对其进行清理和格式化，确保每条信息都能完美契合预定义的表格
• 随后，商业智能工具只需数秒即可对数十亿行数据运行复杂的 SQL 查询，从而提供可靠的历史报告和预测分析

非结构化数据则需要采用更为灵活的处理方式。由于视频、录音和原始文本日志等大型文件无法放入整齐的表格中，开发者会使用数据湖和云存储桶来存储这些文件。

• 数据湖提供了一个高灵活性的存储库，支持您以原生、原始格式直接存储文件，而无需先对其进行强制性的结构化转换
• Cloud Storage 存储桶使用对象存储为这些数据湖提供支持，让您的系统能够扩容到 PB 级容量，而无需重建数据库
• 在传统数据库中存储大容量非结构化文件成本极其高昂；相比之下，当面对海量数据时，使用存储桶是更具性价比的选择
• 以原始格式保留数据，意味着您的人工智能和机器学习流水线可以轻松提取所需文件，从而训练计算机视觉与自然语言处理 (NLP) 模型

大多数企业架构的发展最终都会超出单一存储平台的承载上限。随着系统规模的扩大，数据湖和存储桶自然会分散在不同的区域和云服务商中。当您尝试构建需要同时访问所有非结构化文件的机器学习流水线时，这种数据碎片化会形成瓶颈。

Google Cloud 通过 Agentic Data Cloud 攻克了这一特定的架构挑战。它采用 AI 原生跨云湖仓一体架构，将您的分布式存储环境连接至统一的访问入口。

• 它支持您的应用对分布于 Google Cloud 各处的文件进行零拷贝访问
• 您的开发团队可以直接就地分析和处理信息，无需构建昂贵的流水线在不同云平台之间迁移大型对象
• 这种架构消除了数据孤岛，并让您的整个基础设施做好准备，以支持自主式 AI 工作流，同时避免供应商锁定

若要从这些复杂文件中获取真正有价值的信息，您需要一个专用框架。人工智能与机器学习可作为该流程的核心引擎。例如，AI 辅助的自动化数据流水线可以帮助将视频文件或原始文本文档从庞大晦涩的二进制代码块转换为可读数据。

开发者可以运用特定的 AI 技术来处理各种不同类型的文件，包括：

• 利用 NLP 读取文本密集型文档，例如邮件、支持工单和法律合同
• 利用计算机视觉分析图片和视频，帮助完成审核监控录像、评估医学影像或处理卫星照片等任务
• 利用 Speech-to-Text 模型转写音频文件，使文本可供检索和搜索

以下是现代 AI 数据流水线处理这些信息以推动实际解决方案的具体流程：

1. 收集非结构化数据源：用户、设备和应用会不断生成原始数据。常见示例包括文本密集型邮件、视频文件、IoT 传感器流、PDF 以及社交媒体帖子。
2. 通过数据接入层进行路由分发：系统会安全地收集传入数据，并将其路由分发至正确的存储目标。开发者通常使用高吞吐量数据流水线、API 网关或批量文件上传来迁移这些数据，从而避免减慢主应用的速度。
3. 在存储层确保存储安全：系统会根据您对访问速度和频率的需求，为您稳妥地保存信息。您可以使用 Cloud Storage 构建原始数据湖，使用 Bigtable 存储高频 IoT 日志，或使用 Firestore 存储灵活的应用内容。
4. 在处理层进行分析：AI 模型可在此环节提供有力支持。专用计算模型会读取、扫描和解读这些自由格式的文件，并利用上述 NLP、计算机视觉和语音转文字工具来提取深层含义。
5. 提供数据洞见层：最后，系统会将处理后的数据转化为清晰、富有实用价值的商业智能 (BI)。最终，您将获得极具业务价值的输出结果，例如呼叫中心录音中的客户情感得分、用于合规的自动化文档分类，以及来自工厂传感器的预测性维护告警。
6. 持续反馈与优化：低置信度的 AI 预测结果将被路由分发给人工审核员，以便进行验证和更正。这些新校正的数据会作为全新的训练数据反馈到第一步，用于重新训练和优化 AI 模型。此外，系统会不断追踪模型的准确率和延迟时间，以确保 AI 性能不会随着时间的推移而退化。

选择何种管理解决方案取决于您的具体工作负载和业务增长轨迹。您不妨先将本地文件存储与云对象存储区进行对比。而随着系统复杂性的提升，技术选型往往会转向云原生数据湖或全托管式 AI 集成平台。

在评估各种选项时，请参考以下技术核对清单：

• 存储架构（文件存储、对象存储与数据湖对比）
• 可扩缩至 PB 级，且经济高效
• 原生 AI 与机器学习集成（NLP、计算机视觉、向量嵌入）
• NoSQL 的灵活性（Bigtable 适用于高吞吐量工作负载，Firestore 适用于应用级内容）
• 数据治理、访问权限控制及合规性功能
• 支持多种格式（文本、图片、视频、音频及 IoT）
• 与现有数据仓库、商业智能 (BI) 工具及分析平台无缝集成
• 目标数据量下的总拥有成本

随着人工智能 (AI) 工作负载不断增长，存储不再仅仅是一个被动的数据存储库。而是已经成为 AI 性能链路中的一个关键活跃组件。为了消除影响开发者和数据库管理员的基础设施性能瓶颈，Google Cloud 推出了多项先进的非结构化存储功能。

如果您正在设计高性能的数据架构，可以利用以下特定工具来大规模地处理与管理非结构化格式：

• 智能存储自动生成元数据：智能存储会在非结构化对象写入存储桶时，自动为其生成上下文（例如图片注释）。这彻底免去了开发人员手动构建自定义注释流水线的繁琐工作。它还支持 Model Context Protocol (MCP) 服务器集成，从而允许 AI 智能体以原生方式直接读取、写入和分析您的 Cloud Storage 数据。
• 非结构化数据的数据洞见：此 Knowledge Catalog 功能利用 Gemini Enterprise Agent Platform 分析存储在数据湖中的 PDF 等原始非结构化文件的实际内容。它会自动推断架构并提取关系，将非结构化文件直接编入 BigQuery 对象表，以便您能立即对其进行查询。
• Cloud Storage Rapid：该存储系列专为应对突发性 AI 处理高峰而设计，可提供极高的带宽和极低的延迟。Rapid Bucket 可提供超过 15 TB/s 的带宽，而 Rapid Cache 可将模型加载等密集型任务的读取吞吐量提高到 2.5 TB/s，且无需对现有存储桶进行任何代码更改。
• Managed Lustre：如果您的基础设施团队正在构建大规模训练集群，Google Cloud Managed Lustre 现在可通过远程直接内存访问 (RDMA) 提供高达 10 TB/s 的吞吐量。这能确保您的高性能计算加速器能够持续、无延迟地获取所需数据。
• Z4M 实例：对于正在构建自定义存储架构的企业，全新的 Z4M 实例支持可信的并行文件系统，且单实例最多可提供高达 168 TiB 的本地 SSD 容量。

通过利用这些专门构建的存储工具，您可以确保底层基础设施能够轻松支持现代智能体应用所需的极高吞吐量和高并发。