热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

(二)第二章:大数据底层技术通用架构概要介绍

在开始介绍大数据平台通用架构之前,我们回顾下20世纪传统系统架构特点是哪些?简单介绍下传统架构特色:1、视图与业务分开;视图层负责交互UI,业务模型层负责业务实现,逻辑控制负责程序内部功

在开始介绍大数据平台通用架构之前,我们回顾下20世纪传统系统架构特点是哪些?


简单介绍下传统架构特色:1、视图与业务分开;视图层负责交互UI,业务模型层负责业务实现,逻辑控制负责程序内部功能调度;三层结构分划明显,耦合性高。这种架构沿用至今,只是目前的架构中更喜欢考虑松耦合、高内聚(偏向接口适配广的产品化组件),同时过去的传统RDMS数据库已经无法满足低时延,高并发的产品需求。那么我们同样按照MVC来剖析看看当前大数据通用架构和这个传统之间区别:


上图,大数据通用架构图:


简单介绍下大数据架构特色:大数据架构首先为了适应海量数据存储计算而设计,那么源数据使用分布式文件存储或分布式非结构化Nosql数据库进行存储保障上层计算的高效抽取数据。云计算采用分布式计算开源产品偏多(storm等),数据计算完成之后通过消息中间件或者将小批量数据进行汇总存于关系型数据库中。最后支撑上层营销、办公、决策等使用。


说来说去,我们想将传统架构和大数据架构进行总结对比说明如下:

1、传统系统架构,耦合性太高,需求变化之后需要大量二次开发。大数据架构低耦合高内聚,开发升级周期短;

2、传统系统架构无法适应海量数据存储计算。大数据架构可以满足海量并发计算;

3、传统架构集成难度大,接口适应差。大数据架构可以适配各种流式/消息队列/文本各类接口。

.................剩下来的,我更多想多说MVC架构其实还是灵魂,更多架构主要目的也只是为了优化MVC的性能和扩展。O(∩_∩)O哈哈~


推荐阅读
  • PHP 编程疑难解析与知识点汇总
    本文详细解答了 PHP 编程中的常见问题,并提供了丰富的代码示例和解决方案,帮助开发者更好地理解和应用 PHP 知识。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 深入探讨CPU虚拟化与KVM内存管理
    本文详细介绍了现代服务器架构中的CPU虚拟化技术,包括SMP、NUMA和MPP三种多处理器结构,并深入探讨了KVM的内存虚拟化机制。通过对比不同架构的特点和应用场景,帮助读者理解如何选择最适合的架构以优化性能。 ... [详细]
  • 本文探讨了MariaDB在当前数据库市场中的地位和挑战,分析其可能面临的困境,并提出了对未来发展的几点看法。 ... [详细]
  • 深入解析 Apache Shiro 安全框架架构
    本文详细介绍了 Apache Shiro,一个强大且灵活的开源安全框架。Shiro 专注于简化身份验证、授权、会话管理和加密等复杂的安全操作,使开发者能够更轻松地保护应用程序。其核心目标是提供易于使用和理解的API,同时确保高度的安全性和灵活性。 ... [详细]
  • 探讨如何真正掌握Java EE,包括所需技能、工具和实践经验。资深软件教学总监李刚分享了对毕业生简历中常见问题的看法,并提供了详尽的标准。 ... [详细]
  • 本文探讨了如何在日常工作中通过优化效率和深入研究核心技术,将技术和知识转化为实际收益。文章结合个人经验,分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法,帮助读者更好地实现技术变现。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • Ralph的Kubernetes进阶之旅:集群架构与对象解析
    本文深入探讨了Kubernetes集群的架构和核心对象,详细介绍了Pod、Service、Volume等基本组件,以及更高层次的抽象如Deployment、StatefulSet等,帮助读者全面理解Kubernetes的工作原理。 ... [详细]
  • MySQL索引详解与优化
    本文深入探讨了MySQL中的索引机制,包括索引的基本概念、优势与劣势、分类及其实现原理,并详细介绍了索引的使用场景和优化技巧。通过具体示例,帮助读者更好地理解和应用索引以提升数据库性能。 ... [详细]
  • 本文探讨了领域驱动设计(DDD)的核心概念、应用场景及其实现方式,详细介绍了其在企业级软件开发中的优势和挑战。通过对比事务脚本与领域模型,展示了DDD如何提升系统的可维护性和扩展性。 ... [详细]
  • 本文探讨了如何在 PHP 的 Eloquent ORM 中实现数据表之间的关联查询,并通过具体示例详细解释了如何将关联数据嵌入到查询结果中。这不仅提高了数据查询的效率,还简化了代码逻辑。 ... [详细]
  • 作者:守望者1028链接:https:www.nowcoder.comdiscuss55353来源:牛客网面试高频题:校招过程中参考过牛客诸位大佬的面经,但是具体哪一块是参考谁的我 ... [详细]
author-avatar
AD社团
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有