作者:为爱进地狱天堂_954 | 来源:互联网 | 2023-09-07 14:46
ApacheKudu1.4已经发布,改进了KuduWeb界面的可用性,以及一个新的文件系统检查实用程序。ApacheKudu原来是Cloudera的项目,现在是ApacheHado
Apache Kudu 1.4已经发布,改进了Kudu Web界面的可用性,以及一个新的文件系统检查实用程序。
Apache Kudu原来是Cloudera的项目,现在是Apache Hadoop生态系统的一部分。Apache表示其可以用于快速分析数据。实际上,Kudu是一个柱状存储引擎,填补了Hadoop分布式文件系统(HDFS)和HBase NoSQL数据库之间的差距。
Kudu表具备由一个或者多个列组成的主键,并使用诸如游程编码,差分编码和向量化位打包等高效地存储读取数据。它旨在与结构化数据一起使用,支持低推迟随机访问以及高效的分析访问模式。对于“NoSQL”的访问,程序员可以选择Java,C ++或者Python API。
Kudu在Hadoop集群中扮演着“好公民”的角色,程序员可以使用Java用户端从现场实时数据源将数据流传输到Kudu,而后使用Spark,Impala或者MapReduce立即解决。程序员甚至可以透明地将Kudu表与其余Hadoop存储(如HDFS或者HBase)中的数据进行连接。它可以与HDFS DataNodes共享数据磁盘,并且轻负载下的RAM占用空间小至1 GB。
C ++和Java用户端库已经在新版本中进行了升级,因而可以改变存储属性(如编码和压缩)以及现有列的默认值。C ++用户端库附带一个试验性的KuduPartitioner API,程序员可以使用它来有效地将行映射到相关联的分区和主机。Java用户端库也已升级,以支持扫描仪上的容错功能。
Kudu现在具备在服务器上存储的所有数据上计算,存储和验证校验和的可选功能。要知道,以前的版本只对存储数据的某些部分执行校验和。
Kudu Web界面的可用性得到改进,特别是对于服务器托管许多平板电脑或者具备许多分区的情况,并在可切换部分下显示完整列表。
维护也得到了改进。它可以更好地利用已配置的维护线程,并且当内存消耗超过配置的进程范围的60%时,将主动调度内存中的数据进行刷新。
Kudu命令行工具也通过新的高级管理命令得到改进。
这样的改进,程序员还满意吗?来来来,评论区留言吧!