Skip to content

观测与运维 ​

本文说明数据管道的运行观测与日常运维:详情页各 Tab、指标与状态含义、日志查看,以及编辑 / 重启行为。

管道详情页 ​

在「数据管道」列表点击管道名称进入详情页,顶部为启停 / 编辑 / 刷新 / 删除操作,页面 每 30 秒自动刷新。详情页分 4 个 Tab:

Tab内容
概要消息速率、累计处理量、任务数、错误数 4 张指标卡;数据流向图(数据源 → 处理器 → 输出目标);吞吐曲线;基本信息(创建/更新时间、任务数、连接器等)
任务每个任务的状态、消息 in/out、错误数;行内「查看日志」直达对应日志文件;「查看指标」抽屉按 Input / Processor / Output 阶段分组展示
配置只读 YAML(完整管道配置,敏感字段脱敏显示为「已配置」)
日志按 manager → slot → 文件树的日志列表;选中文件后右侧显示正文(tail 500 行),支持按级别着色、自动换行开关、刷新

状态说明 ​

状态含义
running所有期望任务均在运行
recovering部分任务缺失或异常,系统正在自动拉起 / 重新绑定
degraded存在无法正常收敛的任务(如缩容后未能干净退出,或任务持续起不来)
failed启动失败(如配置错误、目标不可达),需检查任务日志后修复配置
stopped已停止(手工停止或按期望状态停止)
unknown任务状态上报缺失或过期(超过约 60 秒未刷新),通常是任务进程或节点异常

状态由系统按各任务的实际运行状态实时计算,不是手工设置值。任务行显示的 unknown 同理:进程状态过期或读取失败时不再展示旧值。

指标说明 ​

  • 消息速率:按 Input / Output 两个方向分别统计(条/秒),只展示所有任务都成功采样的时间点,缺采样时曲线中断而不是补 0
  • 累计处理:累计收到的消息数
  • 错误数:累计事件数(不是当前错误率),包含输入/输出连接建立失败、连接中断等事件;数值只增不减,排障时关注增长速率而非绝对值
  • 列表页的指标为近似值,慢任务可能显示 0;以详情页和任务页为准

日志 ​

  • 每个任务的文件日志按 slot(任务序号)分目录保留,每个 slot 保留最近 3 次启动的日志;每次启动生成新的日志文件(带启动时间),重启不会覆盖旧文件
  • 日志正文默认读取末尾 500 行,适合快速定位最近错误;历史文件可逐个查看
  • 任务列表的「查看日志」会直接定位到该任务当前的日志文件
  • YAML 编辑器模式还提供「调试」Tab:启动一个临时的单任务调试会话,实时输出该会话日志;修改 YAML 会停止会话并重置测试状态

编辑、重启与任务数 ​

  • 编辑管道(配置或任务数)对已停止的管道直接保存
  • 编辑运行中的管道时,保存会依次执行:停止管道 → 写入新配置 → 重新启动;重启失败时管道保持停止状态并在页面提示,需要到详情页手动启动
  • 任务数修改后,系统会按新任务数协调:扩容补齐缺失任务,缩容时先向多余任务发送停止信号、等待其正常退出后再移除
  • 删除管道时会先停止其所有任务;若有任务无法停止,删除会报错而不是留下无主任务,可重试或先手工停止后删除
  • 仅修改任务数时,也可通过 API 在运行中调整(其余配置需与已存储值完全一致);控制台统一走「停止 → 保存 → 重启」流程

排障顺序建议 ​

  1. 详情页「概要」看状态与错误数趋势
  2. 「任务」Tab 找到异常任务,看其消息 in/out 是否停滞
  3. 「日志」Tab 打开对应任务日志,搜索 error / failed / connection
  4. 「配置」Tab 核对连接参数与字段映射
  5. 需要修改时先停止管道,改完配置再启动,避免边运行边改