数据库时序数据库物联网大数据实时分析云原生【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址https://gitcode.com/taosdata/tdengine点击查看免费下载PI 实时任务是 taosX 数据写入体系中面向 OSIsoft/AVEVA PI System 的持续数据同步方案它通过 PI 连接器订阅 PI Data Archive 与 PI AF Server 中的数据变化将新产生的数据实时写入 TDengine是工业物联网场景下构建实时监控、双写迁移与多源汇聚的关键通道。本文以 实时数据同步指南 为骨架完整覆盖任务创建、重启补偿时间、单列/多列模型同步行为、多列模型高级功能、最佳实践与常见问题排查并结合同目录下的部署架构、前置条件、模型配置等文档进行纵深展开帮助你从零配置并稳定运维一套 PI → TDengine 的实时数据管道。概述PI 实时任务能解决什么问题PI 实时任务taosExplorer 中的类型名为PI用于持续订阅 PI 系统的数据变化将新产生的数据实时写入 TDengine。与按时间范围提取历史数据的 PI backfill 回填任务 不同实时任务是随到随写的长期运行任务。典型使用场景包括实时监控将 PI 实时数据同步到 TDengine利用 TDengine 的高性能查询能力构建实时仪表板双写过渡在从 PI 向 TDengine 迁移过程中两套系统并行运行逐步验证后再下线 PI数据汇聚将多个 PI 系统的实时数据汇聚到统一的 TDengine 集群实现集团级统一数据视图。在开始创建任务之前建议先确认 PI 系统环境满足 前置条件包括网络连通性PI Data Archive 端口 5450、PI AF Server 端口 5457、防火墙放通、PI AF SDK 安装以及服务账户的 PI 访问权限。若首次部署还应先阅读 部署架构 选择合适的部署方案。实时任务与回填任务的分工从数据的实时性角度PI 数据源任务分为两类二者在迁移流程中通常配合使用任务类型taosExplorer 中的名称说明实时任务PI持续订阅 PI 系统的实时数据变化写入 TDengine回填任务PI backfill按指定时间范围提取历史数据写入 TDengine推荐的迁移流程是先回填后实时先创建并运行 PI backfill 任务完成历史数据迁移再创建 PI 实时任务接管增量数据也可以在实时任务运行的同时并行回填历史由于 TDengine 对相同时间戳的数据采用覆盖写入重叠部分不会产生重复数据。无论哪种顺序创建实时任务时都应配置合适的重启补偿时间覆盖回填完成到实时任务启动之间的时间间隔确保过渡期无数据丢失。创建 PI 实时任务基本步骤在 taosExplorer 的数据写入页面按以下步骤创建 PI 实时任务点击新增数据源在类型下拉列表中选择PI注意不要选成PI backfill配置连接信息详见 PI 数据接入配置数据模型单列/多列详见 模型配置参考配置重启补偿时间见下节配置高级选项见下文「多列模型高级功能」提交任务。在配置基本信息和连接信息时有几点需要特别注意代理taosX-Agent配置PI 连接器依赖 PI AF SDK因此 taosX 或其代理必须部署在可直接连接 PI 系统的Windows主机上。如果 taosX 本身运行在可直连 PI 系统的 Windows 服务器上代理不是必须的如果 taosX 部署在云端或其他无法直连 PI 系统的环境则需要在 PI 系统所在网段的 Windows 主机上部署 taosX-Agent 作为代理。连接方式PI 连接器支持两种连接方式。PI Data Archive Only直接连接 PI Data Archive仅需填写 PI 服务名服务器地址通常使用主机名PI Data Archive AF Server使用 PI AF SDK还需要填写 PI 系统AF Server名称和 AF 数据库名该模式才支持多列模型与 AF 资产框架。认证方式连接配置中的 Username/Password/Domain 三个字段可选。全部留空时走Windows 集成认证Kerberos 或 NTLM连接器以 taosX-Agent 服务账户的 Windows 身份访问 PI这是生产环境的推荐方式填写 Username Password± Domain则使用显式凭据登录。详见 连接配置与认证。目标数据库在目标数据库下拉列表中选择一个目标数据库也可以先点击右侧的创建数据库按钮创建新库。连通性检查连接信息配置完成后点击连通性检查按钮验证数据源是否可用这是排查环境问题最直接的手段。数据模型与 Dataset Filter 的选择在配置数据模型之前需要先明确使用单列模型还是多列模型二者的映射规则与适用场景不同数据模型映射规则适用场景单列模型一个 PI Point → 一张 TDengine 子表以点位为中心的数据采集多列模型一个 PI AF 元素 → 一张 TDengine 子表以设备/资产为中心的数据采集首次配置时无论选择哪种模型都建议点击下载默认配置按钮——该操作会触发生成默认的模型配置文件并下载到本地你可以查看或编辑后重新上传覆盖默认配置。如果想同步所有点位或所有模板元素用默认配置即可如果需要过滤特定命名模式的点位或元素模板先填写过滤条件再点击下载默认配置。Dataset Filter 的语法支持point/element/template三种过滤单位及*、?通配符详见 Dataset Filter 配置。重启补偿时间重启补偿时间是 PI 实时任务的一个关键参数。当任务因故意外中断后重启时taosX 会自动回填从中断时刻到当前时刻这段时间内的数据该参数用于限制自动回填的最大时间窗口。参数说明重启补偿时间设置重启后自动回填的最大时间窗口该参数的取值支持2d、3h、4m这类带单位的时间格式天/时/分在 taosExplorer 界面中通过数值 时间单位下拉框组合填写。配置建议根据你能容忍的最大数据丢失时间来设置例如设置为 1 小时则如果任务中断了 30 分钟后重启taosX 会回填这 30 分钟的数据如果中断时间超过了补偿时间的设置超出部分的数据需要通过 PI backfill 任务手动补录在先回填后实时的迁移流程中重启补偿时间还应覆盖回填完成到实时任务启动之间的时间间隔确保过渡期数据完整。数据同步行为单列模型与多列模型单列模型单列模型以一个 PI Point 为中心同步行为如下订阅每个 PI Point 的值变化当 PI Point 的值发生变化时将新值写入对应的 TDengine 子表每个 PI Point 对应一张子表。默认生成的单列模型配置会按UOM工程单位 数据类型将点位自动分组到不同的超级表。例如所有单位为 Volt 且数据类型为 Float32 的点位会归入同一个超级表volt_float32子表名直接使用点位名SubTable,${point_name}。点位与超级表的归属关系通过POINT行声明如Meter_1000004_Voltage,POINT,volt_float32。完整的单列模型配置文件格式超级表定义 点位映射两部分见 模型配置参考。多列模型多列模型以 PI AF 资产框架为中心一个 AF 元素Element映射为 TDengine 的一张子表一个元素模板Template下的所有元素共享同一个超级表结构。同步行为如下订阅 AF 模板下所有元素的 PI Point 属性变化当某个元素的某个 PI Point 属性值发生变化时更新对应子表的对应列每个 AF 元素对应一张子表。多列模型的默认映射规则为taosX 将PI Point 属性映射为 TDengineCOLUMNMetric 列将其他属性静态属性映射为 TDengineTAG列。子表名支持占位符组合例如SubTable,${element_name}_${element_id}生成形如Meter001_12345的子表名。数据列中$voltage_status这类映射对应 PI 数据的质量状态码。具体配置示例见 模型配置参考 中的metertemplate与farm两个超级表定义块。多列模型高级功能以下高级选项仅在使用多列模型的实时任务时可用。这些开关解决了资产动态变化场景下的自动化同步问题是 PI 实时任务区别于简单轮询同步的核心能力。同步新增元素选项默认值说明同步新增元素开启打开后PI 连接器会监听模板下新增的元素自动同步其数据使用场景当 PI 系统中持续有新设备/资产被添加到 AF 模板下时无需手动重启任务或修改配置新增元素会自动创建对应的 TDengine 子表并开始采集数据。同步静态属性变化选项默认值说明同步静态属性变化开启打开后所有非 PI Point 属性静态属性的值变化会同步到 TDengine TAG使用场景当 AF 元素的描述信息、分类、位置等静态属性可能被修改时保持 TDengine TAG 与 PI AF 一致。需要注意如果该选项未开启TAG 值只在子表创建时写入一次后续 PI 侧静态属性的修改不会反映到 TDengine。同步删除元素选项默认值说明同步删除元素开启打开后PI 连接器监听模板下删除元素的事件同步删除 TDengine 对应子表:::warning 开启此选项后PI 中删除元素将导致 TDengine 中对应子表被删除数据不可恢复。请谨慎使用。 :::同步删除历史数据选项默认值说明同步删除历史数据开启打开后PI 中某个时间点的数据被删除时TDengine 对应时间对应列的数据会被置空该选项用于处理 PI 侧的数据删除操作如合规性清理、错误数据剔除保证 TDengine 中不残留已被 PI 删除的历史数据点。同步修改历史数据选项默认值说明同步修改历史数据开启打开后PI 中历史数据被修改时TDengine 对应时间的数据也会更新使用场景PI 系统中可能存在数据修正的操作如手动修改异常值开启此选项可以保持 TDengine 与 PI 数据一致避免因修正后的数据未同步导致分析结果偏差。最佳实践高可用部署使用 taosX-Agent 代理模式部署将连接器与 taosX 分离。PI 连接器依赖仅支持 Windows 的 PI AF SDKtaosX-Agent 代理模式允许 taosX 部署在 Linux 或云端同时符合 OT/IT 网络分区的安全合规要求。taosX-Agent 代理模式是生产环境的推荐部署方案架构选型可参考 部署架构。配置合理的重启补偿时间确保任务重启后不会丢失数据补偿窗口应覆盖可容忍的最大中断时长。通过 taosExplorer 监控任务状态及时发现异常第一时间处理。若需部署多套 taosX引擎侧登记为多个 Xnode做冗余采集请阅读 高可用与故障转移。性能调优调优项建议批次大小根据数据密度调整点位多且数据频率高时适当增大单次读取最大延迟根据实时性要求调整日志级别生产环境使用info或warn排查问题时临时切换到debug在高级选项中还可以调整以下通用参数与实时任务和回填任务均相关配置项说明连接器日志级别默认info可选error、warn、info、debug、trace批次大小单次发送的最大消息数量默认 1000批次延时单次发送最大延时秒超时后即使不满足批次大小也立即发送默认 1健康监测时段健康检查的时间间隔默认 0 表示不启用Busy 状态阈值任务繁忙状态的阈值百分比默认 100%写入队列长度写入 TDengine 的队列长度默认 1000写入错误阈值连续写入错误次数达到阈值后触发告警默认 10批次大小与批次延时共同决定了写入节奏批次大小控制单次发送的最大消息数批次延时则作为兜底确保低流量场景下数据不会长时间滞留。调优时需权衡吞吐量与内存占用、实时性之间的关系。任务监控通过 taosExplorer 的数据源列表页面可以查看任务运行状态数据写入速率最近一次同步时间错误日志建议定期检查任务状态确保实时同步正常运行。一旦发现写入速率骤降或最近同步时间停止推进应立即按下文实时同步延迟过大的思路排查。常见问题实时任务数据丢失如何补偿如果实时任务中断时间超过了重启补偿时间的设置超出部分的数据不会自动回填可以通过以下步骤手动补偿记录任务中断的时间段创建一个 PI backfill 任务时间范围覆盖中断时段运行回填任务补录数据回填完成后实时任务继续正常运行。由于 TDengine 对相同时间戳的数据采用覆盖写入回填数据与实时任务在时间上的重叠部分不会产生重复数据。回填任务的更多最佳实践并行拆分、性能优化、数据验证见 历史数据回填。实时同步延迟过大如何排查网络延迟检查 taosX/taosX-Agent 到 PI 系统的网络延迟PI 系统负载检查 PI Data Archive 的负载情况高负载会拖慢订阅读取TDengine 写入瓶颈检查 TDengine 集群的写入性能批次大小过大适当减小批次大小降低单次处理延迟日志排查将日志级别调整为debug查看详细的处理耗时。新增点位后需要重启任务吗多列模型如果开启了同步新增元素选项不需要重启新增元素会被自动监听并同步单列模型需要更新模型配置文件添加新点位的映射然后重启任务也可以在 PI 系统新增点位后重新下载默认配置文件并上传覆盖原有映射。多列模型的 TAG 值不更新确认是否开启了同步静态属性变化选项。如果未开启TAG 值只在子表创建时写入一次后续不会更新。开启该选项后AF 元素静态属性的修改才会持续同步到 TDengine TAG 列。总结PI 实时任务是 PI 系统向 TDengine 持续数据同步的核心通道其价值体现在三个层面通过重启补偿时间保障中断恢复后的数据完整性通过单列/多列两种数据模型适配以点位为中心和以资产为中心两类采集范式通过五项多列高级功能实现资产增删、静态属性变更与历史数据修正的全自动同步。配合 PI backfill 回填任务、Dataset Filter 过滤机制与 taosX-Agent 代理部署模式可以构建一套从历史迁移到实时增量、从单点到集团汇聚的完整数据管道。在运维层面务必合理设置重启补偿时间、开启必要的多列同步开关尤其是同步静态属性变化、通过 taosExplorer 持续监控任务状态并依据本文的排查清单快速定位延迟与数据丢失问题。赞分享数据库时序数据库物联网大数据实时分析云原生【免费下载链接】tdengineTDengine is an open source, high-performance, cloud native time-series database optimized for Internet of Things (IoT), Connected Cars, Industrial IoT and DevOps.项目地址https://gitcode.com/taosdata/tdengine点击查看免费下载相关推荐TDengine PI 实时数据同步指南用 taosX 持续订阅 PI 系统变化并低延迟写入时序库TDengine PI 实时数据同步指南用 taosX 持续订阅 PI 系统变化并低延迟写入时序库 本文围绕 TDengine 数据接入组件 taosX 的「数据库时序数据库大数据物联网云原生TDengine taosX从 OSIsoft PI 系统零代码同步实时与历史数据到 TDengine 的完整实践TDengine taosX从 OSIsoft PI 系统零代码同步实时与历史数据到 TDengine 的完整实践 本文讲解如何使用 TDengine 的 t数据库时序数据库大数据物联网云原生TDengine taosX 实战从 OPC UA 服务器实时同步工业数据到 TDengine 的完整指南TDengine taosX 实战从 OPC UA 服务器实时同步工业数据到 TDengine 的完整指南 本文以 TDengine 官方文档《OPC UA数据库时序数据库大数据物联网云原生上一篇AJV安全性指南10个技巧防止数据篡改与注入攻击下一篇10个实用技巧如何在flow_matching中高效训练图像生成模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考