Skip to content

数据集成简介

TIP

该功能仅适用于专有版和 BYOC 部署。

EMQX Cloud 数据集成用于为响应、处理消息流和设备事件配置规则,并通过规则触发的动作将经过处理的消息转发到外部云资源。数据集成不仅提供了一个清晰灵活的"可配置"架构解决方案,而且还简化了开发过程,提高了用户的可用性,降低了业务系统和 EMQX Cloud 之间的耦合程度,也为 EMQX Cloud 的私有功能定制提供了一个更优秀的基础架构。

data_integration_intro

在 EMQX Cloud 中,使用数据集成会有如下要求和限制:

  • 基础版部署
    • 资源仅支持公网访问,因此在创建资源前您需要确保资源具有公网访问能力,同时开放安全组。
    • 资源类型仅开放 Webhook 和 MQTT 桥接。
  • 专业版
    • 资源推荐通过内网访问,因此在创建资源前您需要先配置 VPC 对等连接,同时开放安全组。
    • 如果是专业版,同时也需要公共访问资源,NAT网关可以提供相关能力。
  • BYOC 部署
    • 推荐通过内网访问资源以提高网络安全性和性能。创建资源前,您需要在公有云控制台中配置资源所在 VPC 与 BYOC 部署所在 VPC 的对等连接,同时开放相关的安全组。相关步骤,可参考 创建 BYOC 部署 - VPC 对等连接配置 章节。
    • 如需通过公网访问资源,请在您的公有云控制台中为 BYOC 部署所在 VPC 配置 NAT 网关。

创建流程

以下是创建数据集成的基本工作流程:

data_integration_intro

  1. 首先需要创建一个资源,即由云服务商提供的服务。资源应该已经被设置在系统架构中,您可以从浏览页面中直接选择特定的资源。
  2. 创建一个规则来处理从设备上收集的数据。该规则可以通过使用 SQL 语句,以您想要的方式收集和处理数据。
  3. 当一个规则被测试和创建后,需要将动作附加到规则上,同时发送数据到目标资源。
  4. 测试创建的数据集成是否能正常运行。

资源管理

资源是你从云平台购买的云服务产品,可以是 Kafka 这样的消息队列服务,也可以是 RDS 存储服务。

规则

规则描述了「数据从哪里来」和「如何筛选并处理数据」。规则使用类 SQL 语句来自定义编写数据,并且可以使用 SQL 测试来模拟导出的数据。想要学习和了解如何编写规则 SQL,参阅规则 SQL 编写

动作

动作解决了「处理后的数据到哪里去」,一个规则可以对应一个或者多个动作,动作中需要设置定义好的资源,也就是将数据发送到哪个服务。