热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

新一代数据库的五大标准

新一代的数据库区别传统的数据库的地方在于:对巨量拥有简单数据建模的主要类型数据,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现SQL语句的实时操作。这样的话,新一代的数据库标准就必须包括:MPP—

新一代的 数据库 区别传统的 数据库 的地方在于:对巨量拥有简单 数据 建模的主要类型 数据 ,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现 SQL 语句的实时操作。这样的话,新一代的数据库标准就必须包括: MPP —

新一代的数据库区别传统的数据库的地方在于:对巨量拥有简单数据建模的主要类型数据,能够做到快速处理;对TB级数据(甚至PB级),可以轻松应对;对于我们终端用户,还要实现SQL语句的实时操作。这样的话,新一代的数据库标准就必须包括:

  • MPP — 大规模的并行处理能力。新一代的数据库必须提供大规模的并行处理能力,实现不同机器上同时摄入、处理或者查询等操作。性能必须远甚于只在单台机器上运行,有着数据摄入瓶颈的传统数据库。
  • 无共享架构: 无共享(内存或磁盘等)架构就意味着新一代数据库系统将无懈可击!每个节点工作都是独立的,这样即使其中一台机器出故障,其他机器仍然可以保持继续运行。这在MPP环境中非常重要,因为经常可能有数百台机器同时并行处理数据,机械出故障是难以避免的。
  • 柱状结构:而不是关系数据库中常见的队列式的数据存储或处理。柱状结构下,只有对结果起决定性作用栏目中的数据才会被处理,对比处理所有数据,结果简直是瞬间给出的。这同样意味着数据不用像传统的数据库中一样被有组织的放入整齐的列表中。
  • 卓越的数据压缩能力:卓越的数据压缩能力允许新一代的数据库摄入和储存更多的数据,而且还会比传统的数据库更节约硬件资源。一个拥有10:1压缩能力的数据仓库,举个例子:可以把10TB的数据压缩到1TB。数据压缩的相关技术叫做文件编码,这项技术对数据压缩起着决定性作用。
  • 通用的硬件设施:就像Hadoop集群一样,大部分的新一代数据库都可以在通用的硬件设施上使用,来自Dell、IBM或者其他的,这样使用者就可以在对比一系列来厂商后做出合适的决定。

虽然新的数据库还只是蓝图,但是纵观数据库发展史后不难发现:也许不用多久就会超越上述标准了。

推荐阅读
  • Apache Hadoop HDFS QJournalProtocol 中 getJournalCTime 方法的应用与代码实例分析 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • 在第二课中,我们将深入探讨Scala的面向对象编程核心概念及其在Spark源码中的应用。首先,通过详细的实战案例,全面解析Scala中的类和对象。作为一门纯面向对象的语言,Scala的类设计和对象使用是理解其面向对象特性的关键。此外,我们还将介绍如何通过阅读Spark源码来进一步巩固对这些概念的理解。这不仅有助于提升编程技能,还能为后续的高级应用开发打下坚实的基础。 ... [详细]
  • 在Hive中合理配置Map和Reduce任务的数量对于优化不同场景下的性能至关重要。本文探讨了如何控制Hive任务中的Map数量,分析了当输入数据超过128MB时是否会自动拆分,以及Map数量是否越多越好的问题。通过实际案例和实验数据,本文提供了具体的配置建议,帮助用户在不同场景下实现最佳性能。 ... [详细]
  • 本文深入解析了Kafka V07的源代码,详细阐述了生产者与消费者的流程机制。通过具体示例和代码分析,帮助读者全面理解Kafka的数据传输和处理过程,为实际应用提供理论支持和技术指导。 ... [详细]
  • HBase Java API 进阶:过滤器详解与应用实例
    本文详细探讨了HBase 1.2.6版本中Java API的高级应用,重点介绍了过滤器的使用方法和实际案例。首先,文章对几种常见的HBase过滤器进行了概述,包括列前缀过滤器(ColumnPrefixFilter)和时间戳过滤器(TimestampsFilter)。此外,还详细讲解了分页过滤器(PageFilter)的实现原理及其在大数据查询中的应用场景。通过具体的代码示例,读者可以更好地理解和掌握这些过滤器的使用技巧,从而提高数据处理的效率和灵活性。 ... [详细]
  • Zookeeper作为Apache Hadoop生态系统中的一个重要组件,主要致力于解决分布式应用中的常见数据管理难题。它提供了统一的命名服务、状态同步服务以及集群管理功能,有效提升了分布式系统的可靠性和可维护性。此外,Zookeeper还支持配置管理和临时节点管理,进一步增强了其在复杂分布式环境中的应用价值。 ... [详细]
  • Hadoop中NameNode与SecondaryNameNode的运行机制解析
    在Hadoop架构中,NameNode中的元数据存储位置是一个关键问题。通常,元数据会存储在内存中以提高访问效率,因为频繁的磁盘随机访问会导致性能下降。此外,NameNode还会定期将元数据的快照保存到磁盘上,以确保数据的持久性和恢复能力。SecondaryNameNode则负责定期合并这些快照和编辑日志,进一步增强系统的稳定性和可靠性。 ... [详细]
  • 在搭建Hadoop集群以处理大规模数据存储和频繁读取需求的过程中,经常会遇到各种配置难题。本文总结了作者在实际部署中遇到的典型问题,并提供了详细的解决方案,帮助读者避免常见的配置陷阱。通过这些经验分享,希望读者能够更加顺利地完成Hadoop集群的搭建和配置。 ... [详细]
  • 在前一篇文章《Hadoop》系列之“踽踽独行”(二)中,我们详细探讨了云计算的核心概念。本章将重点转向物联网技术,全面解析其基本原理、应用场景及未来发展前景。通过深入分析物联网的架构和技术栈,我们将揭示其在智能城市、工业自动化和智能家居等领域的广泛应用潜力。此外,还将讨论物联网面临的挑战,如数据安全和隐私保护等问题,并展望其在未来技术融合中的重要角色。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 字节跳动深圳研发中心安全业务团队正在火热招募人才! ... [详细]
  • 构建高可用性Spark分布式集群:大数据环境下的最佳实践
    在构建高可用性的Spark分布式集群过程中,确保所有节点之间的无密码登录是至关重要的一步。通过在每个节点上生成SSH密钥对(使用 `ssh-keygen -t rsa` 命令并保持默认设置),可以实现这一目标。此外,还需将生成的公钥分发到所有节点的 `~/.ssh/authorized_keys` 文件中,以确保节点间的无缝通信。为了进一步提升集群的稳定性和性能,建议采用负载均衡和故障恢复机制,并定期进行系统监控和维护。 ... [详细]
  • HBase客户端Table类中getRpcTimeout方法的应用与编程实例解析 ... [详细]
author-avatar
大美女慧慧慧
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有