Skip to content

FlowMQ Kafka ​

从 FlowMQ 的 Kafka 协议入口消费数据:数据流(Stream)对应的 Topic,或经 Kafka 协议写入本集群的其他 Topic。

适用场景 ​

  • 读取数据流沉淀的消息(如 MQTT 主题经数据流落盘后的 Topic),转发到下游系统
  • 消费外部系统经 Kafka 协议写入 FlowMQ 的业务数据

前提条件 ​

  • 已了解管道结构与创建流程,参考 数据管道;数据源总览见 数据源
  • 集群已启用 Kafka 协议(未启用时该连接器不显示)
  • 目标 Topic 已存在(数据流名即 Topic 名)

配置步骤 ​

  1. 在「数据管道」中创建管道,数据源步骤选择 FlowMQ Kafka
  2. 填写 topics
  3. 集群开启 Kafka 认证时,填写 sasl 认证信息
  4. 「测试」为可选项;继续完成处理器、输出目标与确认步骤

表单参数 ​

以表单中带 * 的字段为必填:

参数说明
topics*要消费的 Topic 列表
sasl[]SASL 认证(仅集群开启 Kafka 认证时显示):mechanism 固定为 PLAIN,填写 username / password

系统托管项(无需填写) ​

项目说明
连接地址(seed_brokers)自动取集群成员的 Kafka 监听器地址(优先明文端口)
消费组(consumer_group)系统自动生成 flowmq-pipeline-<管道ID>,同一管道的多个任务共用该组
TLS / 批处理按集群配置自动填充

多任务说明 ​

任务数大于 1 时,所有任务共用上述消费组,分区在任务间自动协调分配。表单不支持显式指定分区(topic:partition)。

注意事项 ​

  • topics 填 FlowMQ 中的 Topic 名(如数据流名 unit1-telemetry),不要填外部 Kafka 集群的 Topic
  • 需要自定义消费组或显式分区时,改用 YAML 编辑器模式配置;已存储的管道不会被自动迁移