热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

大数据Storm有什么优势?

在大数据Hadoop组件中,有MapReduce、Spark,但基于实时的流式计算,Hadoop体系外的Storm有着不可替代的快速的优势。那Sto

在大数据Hadoop组件中,有MapReduce、Spark,但基于实时的流式计算,Hadoop体系外的Storm有着不可替代的快速的优势。那Storm的作用是什么呢?

        一、Storm的应用场景

主要用于基于网络的快速小数据处理。比如用户在淘宝网站上点击了什么链接、最新的订单从哪个地方产生。这些数据信息量其实不大,但要求进行快速的处理实时处理,以便于实时的呈现。

        例如下图,阿里的实时订单数据,我们可以进行成交金额的快速获知

        二、Storm与MapReduce的区别

1、Storm特点:基于内存计算、基于网络数据来源、用于实时计算

2、MapReduce特点:基于磁盘计算、数据来源于磁盘、用于批量非实时计算。

大家觉得Storm很有优势,但实际天生我才必有用,MapReduce的作用也很大。我们将所有的数据都存放到HDFS中,一般数据可为PB级别,采用MapReduce可充分发挥分布式计算的特点,得到区间段的数据分析结果。例如,运营商可以基于MapReudce可以分析所有网络用户访问互联网网站的Top10记录,以便于进行针对性的网站服务保障。

        三、Storm的重要组件

        1、主节点Nimbus,进行计算任务的分配,提交具体任务

 2、Zookeeper,用于Nimbus与Supervisor的任务调度。Nimbus将任务写到Zookeeper中,Supervisor通过ZookeeperClient至Zookeeper的INI中取到具体的任务。同时,Nimbus通过Zookeeper感知到哪台工作机无法工作,将不再把任务分配给该故障工作机。

 3、Supervisor中运行worker进行,运行具体的计算任务。

        

        四、Storm的工作流程

        

   Storm在运行中可分为spout与bolt两个组件,其中,数据源从spout开始,数据以tuple的方式发送到bolt,多个bolt可以串连起来,一个bolt也可以接入多个spot/bolt。

   Topology:Storm中运行的一个实时应用程序的名称。将 Spout、 Bolt整合起来的拓扑图。定义了 Spout和 Bolt的结合关系、并发数量、配置等等。

     Spout:在一个topology中获取源数据流的组件。通常情况下spout会从外部数据源中读取数据,然后转换为topology内部的源数据。

      Bolt:接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。

     Tuple:一次消息传递的基本单元,理解为一组消息就是一个Tuple。

     Stream:Tuple的集合。表示数据的流向。

        五、Topology的运行

   在Storm中,一个实时应用的计算任务被打包作为Topology发布,这同Hadoop的MapReduce任务相似。但是有一点不同的是:在Hadoop中,MapReduce任务最终会执行完成后结束;而在Storm中,Topology任务一旦提交后永远不会结束,除非你显示去停止任务。





推荐阅读
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • mapreduce源码分析总结
    这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ... [详细]
  • MapReduce工作流程最详细解释
    MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型,MapReduce的计算过程被封装的很好,我们只用使用Map和Reduce函数,所以对其整体的计算过程不是太 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 《Spark核心技术与高级应用》——1.2节Spark的重要扩展
    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章,第1.2节Spark的重要扩展,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细]
  • 伸缩性|发生_分布式文件系统设计,该从哪些方面考虑?
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了分布式文件系统设计,该从哪些方面考虑?相关的知识,希望对你有一定的参考价值。点击上方关注“ ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • 基于,docker,快速,部署,多,需求,spark ... [详细]
  • 前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ... [详细]
  • MapReduce 切片机制源码分析
     总体来说大概有以下2个大的步骤1.连接集群(yarnrunner或者是localjobrunner)2.submitter.submitJobInternal()在该方法中会创建 ... [详细]
  • Zookeeper为分布式环境提供灵活的协调基础架构。ZooKeeper框架支持许多当今最好的工业应用程序。我们将在本章中讨论ZooKeeper的一些最显着的应用。雅虎ZooKee ... [详细]
  • Azkaban(三)Azkaban的使用
    界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]
author-avatar
nowemf
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有