轻量级大数据处理技术

Source: Dev.to

传统大数据架构的缺点

• 运维复杂 – 更大的集群需要更多的运维工作。当前的大数据技术往往无法充分利用硬件资源，导致集群规模过大，维护成本提升。
• 闭环系统 – 数据必须先加载到数据库中才能进行处理。这迫使进行 ETL 步骤，增加了延迟，削弱了实时能力，尤其是当数据来源众多时。
• 耦合紧密 – 多个应用共享表和计算逻辑会产生强依赖。一个应用的改动可能影响其他应用，导致扩展和维护困难，并增加容量压力。

前端计算层

当中心数据中心负载较高时，可以将部分计算转移到应用侧。前端计算层可以由多个 data mart 组成，每个 data mart 专注于一种特定类型的应用。这种做法：

• 与数据中心共享计算负载。
• 降低应用之间的耦合，因为每个 data mart 只服务单一目的。

然而，该层必须使用轻量、易运维且能够处理相对小数据量的技术来构建。

为什么传统数据库不理想

1. 部署沉重 – 大多数数据库需要独立的物理资源，增加了整体框架的复杂度和成本。
2. 数据范围困境
   • 太小：data mart 无法满足应用查询。
   • 太大：它会变成事实上的数据中心，失去轻量层的意义。
3. SQL 的局限
   • 必须将所有数据加载进数据库，效率低下。
   • 对复杂计算（如多步骤的电商漏斗）缺乏支持，除非借助外部语言如 Python 或 Java。
   • 嵌套、数千行的 SQL 脚本难以编写、阅读和维护。

这些问题同样存在于传统数据库以及许多提供 SQL 接口的大数据平台。

轻量处理引擎的需求

• 独立于数据库 – 不需要完整的 RDBMS 部署。
• 可集成、可嵌入 – 能够打包进应用程序。
• 简洁便利 – 运维开销最小。
• 开放可扩展 – 能处理来自多源的数据。
• 高效的数据范围处理 – 支持选择性加载数据，而不必成为完整的数据中心。

esProc SPL：开源解决方案

esProc 是为大数据设计的结构化数据计算引擎，具备以下特性：

1. 轻量部署 – 可以独立运行，也可以直接嵌入应用，降低整体系统复杂度。
2. 高度开放 – 支持混合源计算，能够将来自不同来源的数据一起处理。
3. 单节点高性能 – 在单节点上最大化硬件利用率，达到类似集群的性能，而无需多台机器。
4. 数据路由 – 根据需要在本地执行任务或委派给数据中心。
5. 敏捷的 SPL 语法 – Structured Process Language（SPL）简洁且适合复杂计算，避免了嵌套 SQL 的冗长。

简而言之，esProc 提供了从部署到执行的轻量化解决方案。

esProc 的技术框架

集成方式

• 嵌入模式 – 将 esProc 集成到应用中，与业务逻辑一起进行计算，最小化框架改动和运维工作量。
• 独立服务模式 – 当需要额外计算能力时，可将 esProc 部署为独立服务。它支持分布式部署，具备负载均衡和容错能力，提供类集群的功能，却没有传统大数据集群的开销。