关于tdengine:助力邯钢工业-40TDengine-在深度平潭节水减排项目中的应用

作者｜吴明敏，深度（平潭）科技

小 T 导读：深度（平潭）科技有限公司是一家 IT 综合服务提供商，致力于以工业物联网、大数据、云计算、挪动互联为根底进行行业软件研发、解决方案集成及运行保护服务。公司精准把握信息化发展趋势，重点布局工业物联网、智能制作、智慧水务、智慧物流、智慧楼宇，借助新兴技术进行交融翻新，构架智能化、智慧化的信息服务撑持平台，推动中国新型工业化过程。

由邯钢牵头的“十三五”水专项“钢铁行业水污染全过程控制技术系统集成与综合利用示范”课题中，咱们承当了“进步水循环利用的分质/分级供水技术、水系统优化和水网络智慧治理”的钻研工作，翻新开发了具备自主知识产权的“钢铁联结企业全过程节水减排专家管理系统智慧平台”。

该项目标初衷是让其可能在全国范畴内实用。然而，因为在此过程中会有海量数据产生，数据的实时写入成为一大难题。同时，多种剖析算法、预警报警条件、报警解决流程、运行日报、综合统计分析报表可云端动静配置、实时的动态分析计算和历史大量数据回测在线计算也是新的技术挑战。在此背景下，如果想要满足大数据采集计算需要，如何引入高效的分布式实时处理零碎，如何设计平台的计算框架，以及如何抉择合适的时序数据库是咱们必须要解决的问题。

在 2018 年开始施行这个我的项目时，可供咱们选型的产品并不多，基本上是工业现场的实时数据库和通用的业务型数据库。然而工业实时库扩大能力和数据安全达不到咱们的要求，配置上须要配合驱动，这就要求咱们要理解一些工业现场协定，老本绝对较高；如果应用如 MySQL 个别的通用数据库，随着监控点减少，依照工夫对表进行程度划分容易呈现数据热点问题，而依照监测点 hash 取模进行划分时，扩大又会变得比拟艰难。

起初，咱们也尝试了 Kafka+Strom+HDFS 这个组合，并且曾经实现开发，然而随着业务的一直倒退，在每天要解决将近一亿条数据的状况下：实时和历史数据的读取、开发优化、数据一致性、部署运维的老本都变得越来越高。

如何能力以低成本达成高性能？选型火烧眉毛

针对以上业务场景和痛点，咱们决定更换数据计划、进行产品选型，并优先比照了物联网云平台和时序数据库。

选型数据量参考如下：

物联网云平台的长处是为可能数据开发者提供一站式服务，无效升高开发门槛、缩短开发周期，其毛病也十分显著，尽管说在接入当前零代码更加不便了配置，但后期设施厂商还须要针对平台接口进行适配就不是很敌对了，平台的费用加上实时流式计算按次免费的形式，老本霎时晋升。此外，在咱们的业务中，因为业主要求生产数据不离厂，离线部署老本高、运维难且现场设施多样协定繁多，还须要定制接口。

其次就是时序数据库，因为市面上产品种类泛滥，咱们就从本身的需要登程，对两款市面风行的时序数据库进行了相干调研，别离是 InfluxDB 和 TDengine。前者尽管市场占有率绝对较高，但十分惋惜其社区版集群性能并未开源，不能齐全满足咱们的业务需要。而 TDengine 只管绝对比拟“年老”，却可能保障在提供高性能的同时也极大升高装置、部署和保护的老本，此外它还具备如下特点：
&＃8211; 安装简单
&＃8211; 集群性能开源
&＃8211; 从时序数据的特点登程，设计了翻新的超级表概念
&＃8211; 具备丰盛的函数，还有反对窗口查问和间断查问等诸多劣势

通过认真测试和比照后，最终咱们决定将 TDengine 接入到水解决专业化运维零碎中进行前期革新，而 TDengine 也没有辜负咱们的冀望，帮忙咱们达成了降本增效的指标。

TDengine 中间性试验信息如下表所示：

面对海量数据，TDengine 能力如何？

上面咱们一起来看一下 TDengine 在业务实际中的具体表现。

首先咱们依据业务类型，创立了 5 张超级表，数据量比拟大的两张表构造如下：

这两张表的数据量达到了 25 亿以上，加上其余超级表后总数据行数大略在 26 亿左右。

对超级表 hgengine 查问所有设施的最新状态值，TDengine 的耗时是 0.23s。这里不得不提一下，因为咱们是 2.0.7 的旧版本，距今曾经 1 年之久，很多函数都没有缓存之类的优化，所以性能和新版差距很大。然而因为我的项目稳固运行很久了，所以就始终都没有降级到最新版本体验，非常遗憾。

接下来咱们看一下存储，TDengine 在以上数据量之下（26 亿行），占用的磁盘空间其实只有 2.8G，而实际上入库的原数据大小应为（26 亿行，每行蕴含工夫戳列 8 字节以及 float 和 double 混搭大略 4.2 字节，总共 317 亿字节）30G 左右，TDengine 的列式存储压缩率能够达到惊人的 10%。

但更重要的是，因为 TDengine 的超级表个性，咱们还从构造上省下了 26 亿行的标签数据，设想一下如果 hgengine 表的每一行数据都还要带上这几个数据（type，sendorid，opcid，共计 436 字节），那这个表的本来数据量间接就会达到 TB 级别，就算压缩率再好也要占用百 G 级别的存储。

所以，TDengine 从本源下手，把设施的静态数据抽取进去做为子表的一条标签放在了内存中。从根本上就解决了这一物联网大数据场景下的典型问题。最终，磁盘只用了 2.8G。咱们筹备的 1.8T 磁盘，目前只用了千分之一。

正是在 TDengine 的弱小助力下，咱们平台的整体运作也越来越顺滑，获得了以下功效：

① 物联全过程

基于物联网，买通数据边界，突破工具壁垒，将整个钢铁园区全过程水零碎信息汇入平台，集成对立治理，实现全流程一体化管控。

② 生产全监控

实时追踪水脚印，以水流监控图的模式对水零碎的运行工况进行监控，显示历史和实时的运行参数，从而断定各指标是否合乎生产工艺要求并进行即时剖析及预警报警，实现水资源的智慧化和可视化治理。

③ 零碎全均衡

剖析水质水量均衡，以图表的模式即时显示全厂、区域、用水单元三级水平衡现状，从而无效实现水的调度，实现水的高效分质分级回用。

④ 管控全平台

依据用户需要主动生成报表与图表，交融多因子水质水量均衡优化算法，并内置专家治理模型以及相应知识库。采纳逐渐趋近法渐次调节，实现了水零碎的智能化运行剖析和优化治理。

从高效、快捷、精准的特点登程，平台以全厂、区域、水零碎三级治理，涵盖了钢铁生产中各个工序的用排水系统以及水解决、综合污水处理零碎，实现了钢铁园区全生命周期水零碎运行、能源管理、环保治理、数据统计分析，以及厂区内水平衡调控的智能化、数据化、可视化。在达成这个成就的过程中，TDengine 提供了不小的助力。

写在最初

在本我的项目中，TDengine 能够说是量身定做个别，将其弱小的性能体现体现得酣畅淋漓，监控数据上报后的实时展现、计算剖析、历史回溯都十分快。更优良的是其学习和运维老本却并不高，为咱们整个我的项目的完满运作提供了弱小助力。将来，心愿 TDengine 可能开发出更多更好的优质个性，也心愿咱们可能和 TDengine 开展更多更深层次的单干。