现代化无服务器客户数据平台的实现方法

作者 ：Larry Bell、Brian Maguire、Lewis Steckler 发表日期：2022年12月19日

关键要点

• 广告和市场营销独立软件供应商在构建客户数据平台（CDP）时面临独特挑战。
• 无服务器技术可以简化CDP的构建与维护，减少基础设施管理任务。
• 现代无服务器CDP架构可以加速交付，提升运营效率与成本优化。
• AWS 提供多种无服务器解决方案，支持数据摄取、存储、处理与分析。

在构建客户数据平台（CDP）时，市场营销和广告领域的独立软件供应商（ISV）面临一系列挑战。虽然ISV能够帮助组织完成构建、保护和维护接近实时的高容量CDP所需的大量工作，但使用传统的本地技术架构CDP可能会引入多重复杂性，并限制部署选项。其中一种可以解决这些复杂性的策略就是采用无服务器技术。

无服务器技术具备自动扩展、内置高可用性和按需付费的计费模型，能够提高灵活性、优化成本，并减少如容量配置和补丁管理等基础设施管理任务。使用像CloudFormation这样的工具，可以按需独立部署无服务器CDP的每一层，从而最大化可移植性和优化性能。

软件即服务（SaaS）CDP在多租户环境中通常承载着显著更多的数据，而非单一实例。SaaS解决方案的客户需要不断扩展至不同渠道和多个AWS区域。在某些情况下，ISV可能拥有在这些现代能力和技术成熟之前构建的现有基础设施。如今，ISV不仅可以构建新的CDP，还可以现代化现有CDP，并从无服务器实现中获益匪浅。

这篇博客将探讨如何利用无服务器技术构建CDP。现代的无服务器CDP架构可以使ISV和客户公司在几周内而非几个月内交付解决方案，并提供支持灵活性和全球部署的弹性基础设施，同时最大化运营效率，优化成本。这使得技术资源能够集中在差异化的产品开发上，而非服务器管理。

在AWS上实现无服务器CDP

无服务器架构使用AWS服务，无需配置服务器即可实现功能。这种技术可以帮助您更多集中精力快速构建市场营销CDP的不同组件。CDP的优点包括收集、聚合和组织客户数据源。采用无服务器技术实现CDP可以减少对基础设施管理的关注，加快上市时间，提高灵活性并实现成本优化。下图展示了如何将各种数据源准备好供基于组件的客户数据平台使用。


以下是客户数据的处理流程概述：

1. 客户数据源包括客户互动、点击流和呼叫中心日志。
2. 来自客户接触点的数据通过Amazon Kinesis、Amazon AppFlow、Amazon EKS和Amazon API Gateway被摄取进入市场营销CDP数据湖。
3. 摄取的数据以原始、不变的格式发送到Amazon Simple Storage Service（Amazon S3）的原始区域桶中。
4. 原始数据随后被转化为高效的数据格式（如Parquet或Avro），并移动到Amazon S3可信区域桶中。
5. 使用专门的数据处理组件和转换库通过AWS Step Functions及随后使用Amazon Personalize、AWS Lambda和AWS Glue进行CDP处理和管道编排。
6. Amazon S3精简区的数据现在准备好供后继CDP处理消费，并按主题、分段及个人资料进行组织。
7. 分析层使用Amazon Redshift、Amazon QuickSight、Amazon SageMaker和Amazon Athena与精简区本地集成，以进行分析、仪表板、临时报告和机器学习目的。
8. 数据在多个平台上进行聚合，并通过客户API（使用Amazon DynamoDB和Amazon API Gateway）发布供消费。
9. Amazon Pinpoint和Amazon Connect用于激活多个客户渠道，如移动推送、语音和电子邮件，以便进行有针对性的市场营销沟通。
10. 通过AWS Lake Formation，可以在数据湖的目录表、列和行上执行细粒度的访问控制。
11. 在AWS Glue中生成的目录帮助您按规模管理业务和技术元数据，同时提供版本管理。

无服务器的摄取实现

客户数据的摄取可以通过多种方式进行，包括内部和外部源。无服务器的摄取选项可能为ISV在成本或灵活性方面提供好处，但这取决于具体使用案例。评估无服务器摄取选项应该是任何现代化努力的一部分。如果CDP需要流数据源并近实时地摄取数据，ISV可以使用。如果您需要传统的提取、转换和加载（ETL）工具，提供一个无服务器选项，可以生成可自定义的代码。 则提供可视化数据准备工具。对于更复杂的治理和控制，可以使用 。使用API摄取数据时，提供了一种无服务器的方法。如果您需要更高的摄取控制，可以在 或 中使用自定义脚本。

无服务器存储实现

（AmazonS3）提供一种无服务器且具有成本效益的解决方案，可以处理几乎无边界的存储和读写带宽。根据参考架构，存在三个特定用途的区域：

• 原始区域，包含数据的原始、不变版本
• 可信区域，用作汇总、增强和清理数据的工作区
• 精细区域，包含准备好供用户和应用程序消费的数据

这种结构改善了客户数据和个人资料的质量，提供了各种数据源的集成功能，并且允许在变化的业务规则下重新构造客户数据。

无服务器目录实现

目录服务提供对结构化和非结构化数据源中元素的分组，这种分组易于理解，类似于单一关系数据库。通过允许用户在AmazonS3数据集上定义表和列，为数据湖赋予逻辑结构。这一无服务器解决方案与其他分析工具集成，以支持数据发现和一致的使用。AWS LakeFormation还可以执行细粒度的治理和访问控制。

无服务器处理

在使用无服务器技术进行处理方面，有许多优秀选择。CDP平台可以打包代码并在无需服务器的情况下按需运行，使用 或 ，具体取决于处理管道的复杂性。这些服务可以对客户数据和个人资料进行复杂处理。是一个极佳的无服务器选择，适合将人工智能/机器学习整合到处理流中。对于采用大数据技术的处理，是一个良好的无服务器选项。

无服务器消费实现

CDP的分析提供了多种无服务器技术以实现不同类型的洞察。对于可与我们无服务器AWS Glue目录集成的交互式SQL查询，使用 。Athena提供对多种数据源的SQL访问，甚至还可使用联邦查询功能连接到第三方来源，即使该数据位于其他云或供应商环境中。Athena还可以作为其他报告解决方案的接口（中间件）。

如果性能是一个问题，是一种快速的PB级数据仓库解决方案，提供无服务器选项并与这些解决方案完全集成。对于可以嵌入应用或作为独立门户使用的数据可视化工具，请查看 。

为了支持协作，许多用例可能会使用 来安全地发布和暴露API端点供消费应用使用。这样可以从单一来源共享数据，以供使用客户数据的流程。大多数客户希望通过市场营销或广告活动来激活他们的客户数据。要通过语音、电子邮件、短信或应用内消息传达市场营销沟通，可以使用名为 的无服务器服务。对于全渠道联系中心支持，我们推荐 ，它使用AI/ML和CDP数据来分析客户情感，实施聊天机器人，并进行语音呼叫验证。

无服务器治理实现

AWS Lake Formation简化了配置和保护CDP访问的过程。它可以帮助协调处理和摄取，同时执行对数据目录的细粒度访问控制。其他服务，如AWSGlue DataBrew或 ，可以识别和帮助缓解个人身份信息（PII）的曝光风险。使您能够评估、审核和评估AWS资源的配置，以自动化记录的配置与期望配置之间的评估。

结论

本文介绍了一些AWS管理的无服务器解决方案，这些解决方案允许您以加速的方式构建现代、低成本、以数据湖为中心的CDP架构。解耦和基于组件的架构使您可以从小处开始，并迅速向CDP的每个独立组件添加新服务。使用

了解在AWS云中设计、部署和架构分析解决方案工作负载的指导。通过利用这一框架，您将学习设计和运营可依赖、安全、高效且具成本效益的云系统的最佳实践。请沿着文章中的链接，了解AWS提供的帮助您构建无服务器CDP的服务。

深入阅读

标签 ： ， ， ， ， ， ， ， ，