数据源(Source)
数据源(Source)是数据管道的入口:从 FlowMQ 读取数据,再交给后续处理器与输出目标(Sink)。
FlowMQ 的数据源采用内建连接器:FlowMQ Kafka / FlowMQ MQTT / FlowMQ AMQP / FlowMQ NATS,分别从本集群的 Kafka Topic、MQTT 主题、AMQP 队列、NATS subject 读取数据。
这是 FlowMQ 的专有配置方式:连接地址、消费组 / 订阅组 / 队列组、QoS、TLS 等由系统按集群状态自动管理,表单只需填写少量参数(各连接器仅 1 个必填项 + 按需的认证信息)。
适用场景
- 从数据流(Stream,即 Kafka Topic)读取沉淀的消息,输出到时序库、数据库或外部消息系统
- 消费经 MQTT / AMQP / NATS 协议接入 FlowMQ 的设备与业务数据
- 外部消息系统(Kafka / MQTT / AMQP / NATS):先通过对应协议把数据接入 FlowMQ,再用管道读取
配置要点
在创建向导的 数据源 步骤中:
- 填写管道名称和任务数
- 选择数据源连接器(FlowMQ 分类下按集群启用的协议展示)
- 填写必填参数与认证信息(见各连接器文档)
- 「测试」为可选项;点击「继续」时自动校验配置
连接器
- FlowMQ Kafka:消费数据流 / Kafka Topic
- FlowMQ MQTT:订阅 MQTT 主题
- FlowMQ AMQP:消费 AMQP 队列
- FlowMQ NATS:订阅 NATS subject
注意事项
- 连接器按集群实际启用的协议能力展示,未启用的协议不显示
- 外部消息系统不能直接作为数据源,需先经协议接入 FlowMQ
- 需要越过表单的高级配置(如自定义消费组、显式分区)时,使用 YAML 编辑器模式