Skip to content

数据源(Source) ​

数据源(Source)是数据管道的入口:从 FlowMQ 读取数据,再交给后续处理器与输出目标(Sink)。

FlowMQ 的数据源采用内建连接器:FlowMQ Kafka / FlowMQ MQTT / FlowMQ AMQP / FlowMQ NATS,分别从本集群的 Kafka Topic、MQTT 主题、AMQP 队列、NATS subject 读取数据。

这是 FlowMQ 的专有配置方式:连接地址、消费组 / 订阅组 / 队列组、QoS、TLS 等由系统按集群状态自动管理,表单只需填写少量参数(各连接器仅 1 个必填项 + 按需的认证信息)。

适用场景 ​

  • 从数据流(Stream,即 Kafka Topic)读取沉淀的消息,输出到时序库、数据库或外部消息系统
  • 消费经 MQTT / AMQP / NATS 协议接入 FlowMQ 的设备与业务数据
  • 外部消息系统(Kafka / MQTT / AMQP / NATS):先通过对应协议把数据接入 FlowMQ,再用管道读取

配置要点 ​

在创建向导的 数据源 步骤中:

  1. 填写管道名称和任务数
  2. 选择数据源连接器(FlowMQ 分类下按集群启用的协议展示)
  3. 填写必填参数与认证信息(见各连接器文档)
  4. 「测试」为可选项;点击「继续」时自动校验配置

连接器 ​

注意事项 ​

  • 连接器按集群实际启用的协议能力展示,未启用的协议不显示
  • 外部消息系统不能直接作为数据源,需先经协议接入 FlowMQ
  • 需要越过表单的高级配置(如自定义消费组、显式分区)时,使用 YAML 编辑器模式