作者:尼古拉斯Ga | 来源:互联网 | 2023-09-11 10:20
随着2017年年末区块链技术的火热升温,区块链技术已经成为大多数程序员茶余饭后讨论的话题,那么什么是区块链技术?区块链技术精髓在哪?区块链技术会不会成为日后引领各行各
随着2017年年末区块链技术的火热升温,区块链技术已经成为大多数程序员茶余饭后讨论的话题,那么什么是区块链技术?区块链技术精髓在哪?区块链技术会不会成为日后引领各行各业的主流技术?
作者有幸接触到关于区块链技术的书籍,对区块链技术底层的拜占庭算法有过潜入了解,对于去中心化思想是否可以应用到各行各业领域也有着自己的见解,作者本人是做大数据方面技术,自然对于区块链技术能否在大数据领域有所建树比较关注,一个偶然机会让作者突发奇想将Redis持久化机制与去中心化相结合,下面是对于去第三方技术及Redis持久化技术相结合的思想假设。
假设环境为数据源将数据传输至hdfs中,其中加入去中心化集群网络对数据进行校验机制。
1、数据通过数据源流入去中心化思想的高可用hadoop的日志网收集集群,这里利用的是Redis快照原理,直接把流经内存中的数据保存到一个dump文件中,定时保存。
2、数据流经hadoop集群网被快照后,直接将数据发向hdfs进行持久化,此时去中心化集群将快照信息定时进行备份至网络中各个节点。
3、各个节点接收完毕快照以后,会定时按照独特的算法向其它除本身以外的节点发送校验信息
4、hadoop集群将数据持久化时,通过Redis快照机制对数据进行定时快照,定时将快照与快照网中的节点快照进行比较,以保证数据传输前与数据传输后数据内容一致。
当然,这里还有很多细节没有完善,只是一种假设的思想,对于去中心化技术来说,整个系统并未达到这一点,但就hadoop的快照网络来说,只是有一部分达到去中心化校验规则,作为一名程序员来说,如何将区块链技术应用到各个领域是我们将要思考的问题。