Skip to content

DataStorage

DataStorage 北向插件使用 Arrow Flight SQL 写入数据到 Datalayers 时序数据库,它为 NeuronEX 增加了时序数据的存储能力。

NeuronEX 会在启动时创建一个 DataStorage 单例节点,用户不能直接使用该插件创建或删除节点。 您可以在北向应用页签中看到 DataStorage 节点。

应用配置

以下是使用 DataStorage 插件配置节点时可用的参数:

字段说明
服务器地址Datalayers 服务器的 ip 地址
服务器端口Datalayers gRPC 服务的端口
用户名Datalayers 用户名
密码Datalayers 密码

添加订阅

完成插件的添加和配置后,通过订阅南向设备实现数据的存储。

北向应用页,点击设备卡片/设备列进入组列表页。点击添加订阅,完成南向设备和采集组的添加。订阅完成后,DataStorage 节点将开始接收南向数据,并将数据存储到 Datalayers 时序数据库中。

数据存储

DataStorage 在传输过程中使用 Arrow 的列存格式,在数据传输过程将完全避免序列化/反序列化操作,可彻底消除序列化/反序列化带来时间及性能损耗、提升系统的吞吐能力。

运行与维护

在设备卡片或设备列,您可点击数据统计图表查看及应用运行情况、接受和发送的数据情况。

其中缓存队列大小表示,当前 DataStorage 插件数据存储时使用的缓存队列大小值。

其中最大缓存队列大小表示,DataStorage 插件数据存储时使用的缓存队列的历史最大值。

其中丢弃消息数表示,DataStorage 插件数据存储时,由于数据吞吐量过大,超过了缓存队列的最大值1000时,导致的数据丢失数量。

性能指标

推荐 NeuronEX 边端存储点位不超过1w个。

DataStorage 插件性能指标

场景点位数组间间隔 (ms)CPU 最大使用率 (%)内存占用 (MB)最大缓存队列长度
13,000100010.4791
210,0001000351971
310,0001001452281

Datalayers 数据库性能指标

场景点位数组间间隔 (ms)CPU 最大使用率 (%)内存占用 (MB)磁盘写入 (MB/s)查询响应时间 (ms)
13,00010002.61570.09310
210,00010004.52170.31415
310,0001001452961.5922