消费：将转换后的数据公开给下游用户

barikulislam015

您还可以看到，灰色区域的大小在四月份（纳税季节）发生了阶跃变化！这一变化是由于 Intuit 推出的新功能使账单行数增加了两倍（“更多数据”）。 尽管行数增加了两倍，但批处理持续时间仍保持在一个狭窄的范围内，并且不会出现峰值。这是因为批量大小和每分钟处理的行数以相同的速度增长。换句话说，集群可以更快地处理更多数据，即性能随着工作负载的增长而提高。 让我们深入了解 Jason 的团队是如何取得这一成果的。 构建支持业务的数据架构 集群架构和数据管道遵循我们建议的设置 Amazon Redshift 集群的最佳实践。特别要注意设置 WLM以将不同的工作负载彼此分开。 您可以在架构图中看到三个主要工作负载——阶段、进程和消耗。

Stage：放置原始数据以将其加载到集群中的地方。 流程：将原始数据输入平台，通过应用业务逻辑对其进行转换。  在我们的客户中，“ELT”是一种标准模式，即数据的转换通过SQL在集 电子邮件营销列表 群中进行。像 Redshift 这样的云仓库既高性能又可扩展，与外部处理层相比，数据转换用例可以在数据库内更好地处理。SQL 是简洁的、声明式的，并且您可以对其进行优化。 Intuit 遵循“ELT”与“ETL”方法。凭借团队中的大量 SQL 知识，他们可以在 SQL 中构建转换并在集群中运行它们。AWS 将 CUR 放入 S3 存储桶中，Intuit 将原始数据从（“E”）提取到暂存区域。Intuit 保持原始数据不变，并将其加载到集群（“L”）中，然后对其进行转换（“T”）。 流程下面是一个编排层，用于协调工作流程并管理依赖关系。



有些工作流程需要每小时或每天执行一次，其他工作流程需要在新数据到达时执行。了解工作流程及其执行是数据完整性和满足 SLA 的关键组成部分。 当工作流程和数据管道失败时（它们一定会失败），您必须 a) 在发生时了解情况，b) 了解失败的根本原因。否则，您将遇到数据完整性问题并错过 SLA。在 Intuit 的案例中，关键的 SLA 是数据的近实时特性。 在 Integrate.io 中，您可以通过我们的“查询见解”查看这些工作流程。 您可以双击每个用户以查看基础查询组和依赖项。作为负责的工程师，这意味着您可以跟踪您的工作流程并了解哪些用户、查询和表是导致任何问题的原因。 端到端数据流、工具链和业务服务 让我们详细了解一下数据流的各个步骤以及编排工作流程所涉及的技术。 阶段 S3是分界点。