FlowMQ Kafka
从 FlowMQ 的 Kafka 协议入口消费数据:数据流(Stream)对应的 Topic,或经 Kafka 协议写入本集群的其他 Topic。
适用场景
- 读取数据流沉淀的消息(如 MQTT 主题经数据流落盘后的 Topic),转发到下游系统
- 消费外部系统经 Kafka 协议写入 FlowMQ 的业务数据
前提条件
配置步骤
- 在「数据管道」中创建管道,数据源步骤选择
FlowMQ Kafka - 填写
topics - 集群开启 Kafka 认证时,填写
sasl认证信息 - 「测试」为可选项;继续完成处理器、输出目标与确认步骤
表单参数
以表单中带 * 的字段为必填:
| 参数 | 说明 |
|---|---|
topics* | 要消费的 Topic 列表 |
sasl[] | SASL 认证(仅集群开启 Kafka 认证时显示):mechanism 固定为 PLAIN,填写 username / password |
系统托管项(无需填写)
| 项目 | 说明 |
|---|---|
| 连接地址(seed_brokers) | 自动取集群成员的 Kafka 监听器地址(优先明文端口) |
| 消费组(consumer_group) | 系统自动生成 flowmq-pipeline-<管道ID>,同一管道的多个任务共用该组 |
| TLS / 批处理 | 按集群配置自动填充 |
多任务说明
任务数大于 1 时,所有任务共用上述消费组,分区在任务间自动协调分配。表单不支持显式指定分区(topic:partition)。
注意事项
topics填 FlowMQ 中的 Topic 名(如数据流名unit1-telemetry),不要填外部 Kafka 集群的 Topic- 需要自定义消费组或显式分区时,改用 YAML 编辑器模式配置;已存储的管道不会被自动迁移