数据集成

FlowMQ 的数据集成以 数据管道（Pipeline） 为单位。
一条 Pipeline 由三部分组成：Source -> Processors -> Sink。

• Source：管道入口，连接数据来源；可以是 FlowMQ（如 Kafka Topic），也可以是外部系统
• Processors：可选中间处理（过滤、转换、映射）
• Sink：管道出口，连接数据目标；可以是 FlowMQ（如 Kafka Topic），也可以是外部系统

不同 Pipeline 相互独立运行，单条 Pipeline 异常不会影响其他 Pipeline。

文档导航

• Source：可选来源连接器与配置说明
• Processors：字段映射、过滤与动态取值
• Sink：可选目标连接器与配置说明
• 示例：可对照配置的管道场景

创建流程（FlowMQ 控制台）

在“数据管道”中点击“创建管道”，按 5 步完成配置：

1. 基础信息：填写管道名称和任务数
2. Source：选择来源类型并配置连接参数（FlowMQ 或外部系统）
3. Processors：按需配置处理逻辑
4. Sink：选择目标类型并配置连接参数（FlowMQ 或外部系统）
5. 确认：检查配置后创建

测试按钮说明

在 Source / Sink 步骤中，若「返回」与「继续」之间未出现「测试」按钮，说明必填参数未通过校验，请检查带 * 的字段是否已填写完整。校验通过后才会显示「测试」；测试通过后才能继续。

例外：Drop sink 无需连接测试，可直接继续。