琥珀移动客

琥珀移动:在 Google Cloud 数据与 AI 服务上打造广受欢迎的用户产品

Google Cloud 結果
  • 将获取数据洞察的时间缩短至 1 天内

  • 为产研与运营团队提供相较之前 5 倍数据服务量,每天数千的任务数量持续稳定运转

  • 进行百万到千万级别参数的 AI/ML 模型训练与并在强化学习中达到日均百万次的采样,轻松应对大规模训练任务

  • 将基于 AI/ML 的计算机视觉检测任务和用户行为预测准确度提升到 99%,以提供个性化的游戏体验

基于 Google Cloud 完成现代化的数据湖与数据仓库改造,并将 AI/ML 与产品集成,琥珀移动既能利用现有开源技术栈的丰富便捷以及还可以与 Google Cloud 上部署的业务无缝融合,同时又能够享受 Google Cloud 所提供的企业级产品所具备的稳定性与服务支持。

作为一家专注于移动工具类用户产品与游戏出海的公司,琥珀移动旗下的用户产品通过内置多种数据源,给世界各地的手机用户带来可定制化且精确的天气预报服务。在休闲游戏领域,琥珀移动的产品也在下载排行榜中名列前列,其中的爆款产品能够为公司提供超过千万级的月流水。为了更在竞争激烈的用户工具与游戏领域保持竞争力,琥珀移动始终以用户反馈为导向,不断优化产品,以提供更优质的用户体验。

 “为用户提供精细化、个性化的定制服务是琥珀移动的差异化竞争力,我们希望全球各地的用户都能通过琥珀移动满足他们的需求,而良好、稳定的用户体验就是我们的追求的目标。”琥珀移动 BI 负责人富星豪说。

在不增加成本的前提下实现数据湖与数据仓库现代化

2018 年起,琥珀移动就开始使用一系列 Google Cloud 的服务来作为基础设施。2021年,琥珀移动开始采用 BigQueryCloud Storage 以及 Dataproc 等 Google Cloud 提供的全托管服务实施数据湖与数据仓库的现代化改造。

Cloud Storage 为琥珀移动提供了一种具有成本效益和出色性能的数据存储,为开发部署数据流水线提供底层的数据湖支持。BigQuery 作为计算引擎能够直接使用 Cloud Storage 中的数据。在创建的数据仓库的过程中,与 Dataproc 的计算结果可以无缝衔接,这种产品之间便利的互操作与简化的集成方法降低了数据团队在数据湖仓上的管理难度。相较于传统的开源产品之间紧耦合的自建方式,在 Google Cloud 上通过托管服务构建也让琥珀移动的数据团队是实现了模块之间的解耦,并且其自动扩缩能力也提供了更快速的查询和分析。

在工作流编排与调度方面,琥珀移动采用了 Cloud Composer 来灵活的实现流水线编排。由于该服务保持了开源 Apache Airflow 的众多特点,琥珀移动的数据团队可以使用熟悉的语言编写代码,与 BigQuery、Dataproc、Cloud Storage 进行端到端集成,精准控制数据数据流向和结果的产生。

在数据处理进行现代化改造时,Dataproc 让琥珀移动数据团队在一个无服务器部署且全代管式服务中实现对 Apache Hadoop、Apache Spark、Apache Flink 等 30 余个开源工具与框架的支持,特别是可以选择使用 Apache Hudi 组件作为数据湖的底层,帮助琥珀移动获得完整的开源兼容性。在完成现代化改造后,即使面对复杂的数据结构与调度逻辑,琥珀移动的数据团队也能够轻松应对。得益于 Dataproc 和 BigQuery能够直接链接 Cloud Storage 中存储数据的能力,无论是各类数据源、服务端的数据还是各项应用复杂关联的指标,琥珀移动都能够在当前的数据仓库中完成计算和储存再到 Looker Studio 进行数据可视化,借助快速的分析找到数据中隐藏的价值,从而为产品的优化和迭代提供依据。

我们确认基于 Google Cloud 进行现代化的数据湖与数据仓库改造,让我们既能利用现有开源技术栈的丰富便捷以及还可以与 Google Cloud 上部署的业务无缝融合,同时又能够享受 Google Cloud 所提供的企业级产品所具备的稳定性与服务支持。这种方法不仅大幅提升了开发效率,更确保了面向未来业务需求的可扩展性。

富星豪

琥珀移动 BI 负责人

在整个项目中,琥珀移动也得到了具有丰富技术经验的 Google Cloud 合作伙伴 WebEye 的全力支持。WebEye 与 Google Cloud 技术团队针对琥珀移动的业务需求提供定制化的建议与解决方案,协助琥珀移动在无需额外增加成本的前提下顺利完成数据湖与数据仓库的现代化改造。

在 Google Cloud 上建立全托管且现代化的数据湖与数据仓库之后,琥珀移动的数据团队无需考虑基础设施与数据分析相关的开源软件的部署、管理与运维,使数据团队能够将更多的精力投入到业务的需求上,更快速的响应来自产品研发团队与运营团队的数据需求。

构建现代化的数据湖与数据仓库也让琥珀移动的数据团队能够提供更多样化的数据服务。数据服务的丰富帮助琥珀移动的产研和业务团队能够利用数据分析来提升产品性能,推动功能更新,并实施更为高效的运营策略。

结合 AI/ML,为业务发展赋予新动力

琥珀移动也在持续使用 Google Cloud 在 AI 与多模态模型上的创新功能,并不断利用 AI 来实现产品功能,增强用户体验。

琥珀移动在构建 AI 模型时,充分利用了 Google Cloud 在 BigQuery、Dataproc 和 Vertex AI 等服务中提供的与 Jupyter Notebook 兼容的环境,将数据和模型资源与 Notebook 无缝集成,实现团队内部的共享与协作,帮助团队进行更加高效的模型构建与测试。借助 Google Cloud 提供的直观工具和简单配置,使琥珀移动的代码几乎无需修改即可从开发环境迁移到生产环境。这种便捷的流程大大减少了琥珀的开发和运维之间的障碍,并显著降低了工作量。

在 MLOps 的持续交付方面,琥珀移动通过集成 Google Cloud 提供的多个高效组件,能够精准预测用户价值和行为,实现机器学习从开发到运营的无缝对接。流程的第一步是在云端构建的数据仓库中进行大规模数据存储和分析,确保数据处理的高效率和可扩展性。随后,琥珀移动使用 AI Platform 来训练机器学习模型,该平台支持 TensorFlow 等多种框架,并提供自动化的超参数优化功能以及百万到千万级别参数规模,从而提高模型的预测准确性。在训练完成后,模型可以直接部署到 BigQuery ML,以执行离线批处理任务。通过精确的用户行为预测,琥珀移动能够推出更贴合用户习惯和偏好的游戏运营活动,从而提升用户满意度和忠诚度并推动业务增长。

在计算机视觉方面,除了利用云上的计算资源定制化的模型训练外,琥珀移动也引入了 Document AI 来实现自动化非结构化与结构化文档信息的提取,从包括屏幕截图、扫描文件、照片、PDF 等文件中提取与用于优化游戏体验相关内容,并结合上下文获得更加深入的数据洞见。在以前,处理大量质量不佳的文件内容需要琥珀移动团队付出非常多的精力。现在,Document AI 内置的基础模型可以有效的帮助琥珀移动团队识别常规内容,其检测任务准确率高达99.9%,并可以针对业务的需求进行微调和自动添加标签,让琥珀移动团队可以更加从容的应对大量任务。

多年来,琥珀移动一直选用可以灵活调配资源的 Google Kubernetes Engine(GKE)来为业务部署提供支持。为了更好的进行大规模的模型训练,琥珀移动同样选用了 GKE 来进行分布式大规模AI的训练和应用部署。特别是强化学习的训练场景中,琥珀移动利用了 GKE 对于 Ray 的支持,借助 Ray on GKE 实现强化学习大规模采样,在无需进行繁琐的代码修改和配置调整的情况下,即可快速的部署并实现训练任务的横向扩缩,为 AI 训练提供足够的样本。

在 Google Cloud 的推荐下我们采用了 Ray On GKE,用它来管理 GKE 上的 Ray 集群非常便捷,并且 GKE 也提供了企业级的可靠性、可移植性与可扩展性,丰富的TPU、GPU和CPU资源让我们有信心在 AI 的时代为用户产品和游戏产品提供更多的AI支持。

富星豪

琥珀移动 BI 负责人

展望未来,琥珀移动计划在数据、机器学习、AI 与大模型领域继续和 Google Cloud 保持深度合作,在移动应用中提供更加多样化的服务,让先进的技术成为业务的长期发展的动力。

琥珀移动是一家专注于移动出海的科技公司,拥有由 Google 官方认证的顶级开发者组成的核心团队,具备超过 10 年的海外市场经验。公司开发的多款产品屡次被 Google 评为年度最佳产品,其中一款爆款休闲游戏更是取得了同品类排名第一、月流水千万级、数十个国家休闲品类榜单登顶以及全球下载量超 2 亿的佳绩。公司多次受到中国日报、解放日报、广州日报、36 氪、路透社、Engadget 等国内外知名媒体的报道。秉承“实事求是、坦诚透明”的组织理念,琥珀移动致力于为全球 20 亿手游玩家创造更优质的游戏体验。

行业:科技

地区:中国

使用的服务:Google Kubernetes EngineDocument AIBigQueryCompute EngineDataprocCloud StorageDataplexVertex AI


關於 Google Cloud 合作夥伴 — Webeye

WebEye 专注于公有云及其生态资源,帮助企业上云、用云,提供云咨询、云迁移、云管理等一系列定制化服务,加速企业数字化转型。是 Google Cloud 认证的 premier Partner 和 Managed Service Provider,拥有多项专精领域认证。


Google Cloud 合作伙伴
  • Webeye