接入大数据与边缘计算

数据需要进入数据湖做长期分析，或上报量较大、需要先在边缘过滤与聚合时，使用这一类北向应用。

两条路径

EMQX Neuron 将数据送入大数据平台有两种方式，可同时存在：

路径	方式	适用情形
北向 Kafka 应用	由 Kafka 节点作为生产者，将订阅的南向数据直接发送至 Broker 与 Topic	采集层已与订阅模型对齐，希望独立控制发送节奏与 Topic 路由
数据处理 → 动作 (Sink)	南向数据先进入数据处理引擎，经 SQL 过滤、映射、聚合后写出	需要在边缘删减字段、降采样或按条件上报

边缘处理的适用情形

高频采集的原始数据全量上云，成本集中在上行带宽、云端存储与云端计算三处。以下情形建议先在边缘处理：

• 采集频率远高于业务需要——100 毫秒采集一次是为了不遗漏瞬变，而报表只需分钟级均值。经时间窗口聚合后上报，数据量可降两个数量级。
• 数值长时间不变——设备稳态运行时点位值基本不动。通过条件过滤，仅在变化超过阈值时上报。
• 告警需要秒级响应——判断逻辑置于边缘，不必等待云端往返，断网期间仍然有效。
• 上报前需统一单位或字段名——在边缘完成一次，胜过在每个下游系统各做一次。

规则引擎提供 160+ 个 SQL 函数，覆盖过滤、类型转换、聚合与时间窗口计算；SQL 无法表达的逻辑可用 Python 或 C/C++ 扩展。

可写入的目标

除 Kafka 外，数据处理的动作 (Sink) 还可直接写入：

类别	目标
数据库	MySQL、PostgreSQL、SQL Server、Oracle 等（SQL Sink）
时序库	InfluxDB V1 / V2
缓存与消息	Redis、MQTT、Kafka
对象存储与文件	AWS S3、本地文件、图片
接口	REST 调用

选择应用

应用	适用情形
Kafka	作为 Kafka 生产者将数据写入 Topic，进入大数据平台。支持 SASL 认证与 SSL/TLS 加密，也可对接 Microsoft Fabric Eventstream
规则引擎应用	EMQX Neuron 内部节点，将南向数据送入数据处理引擎的 neuronStream 流。该应用默认已存在，只需添加订阅

TIP

规则处理后的结果可通过 Neuron 动作反写回设备，构成「采集 → 判断 → 控制」的边缘闭环，见 Neuron 动作。