热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

小白学习大数据测试之hadoop再次探索

引子虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看大数据粗暴理解大数据甭管什么,简单粗

引子


虽然通过《小白学习大数据测试之hadoop初探》以及把hadoop的基本核心说明白了,但是似乎对于小白来说还是会有点懵逼。。。。那么这次我们就在来看看

大数据粗暴理解


大数据甭管什么,简单粗暴的理解为大!大!大!对,你没看错,不管什么都是大就对了,哈哈哈哈

大数据应用的功能抽象出来基本就是:数据采集、数据存储、数据处理(过滤、拆分、聚合)、数据分析、数据应用。说白了就是对从各处采集的数据经过一系列的处理后给出分析,然后应用到不同的场景里或者提供数据报表等。

hadoop架构演变


此处不多说,很明显是做了拆分,集群的资源管理由yarn完成,ta运行在hdfs之上,而MapReduce则运行在yarn之上(后续在搭建环境的时候需要进行对应配置文件的修改)

大数据测试的难点


  • 需要学习大数据的相关知识和技术(其实我内心是拒绝的。。。好麻烦),比如:hadoop、hbase(分布式开源数据库)、hive(数据仓库)、kafka(分布式发布订阅消息系统)、spark(大数据处理引擎)、yarn、solr(企业级搜索应用)、zookeeper(分布式应用程序协调服务)、sqoop、flume(分布式日志处理系统)等等。。。。。(别问我这是什么,我只想静静啊~)

  • 需要熟悉大数据处理的逻辑(其实就是上面说的那个过程)

  • 需要熟练掌握代码,嗯,你没看错,是必须的,不管是python还是java你必须会。因为这里100%会用到自动化测试的技术,不会代码何谈自动化?

  • 测试思维的变化。传统测试中很多bug是可以通过固定的步骤重现的,但大数据测试里很多bug很难重现的,所以必须要调整自己的思维,提前切入测试并利用多技术手段尽可能的发现bug

好了,脑细胞已经死了很多了,不想多说了,洗洗碎了~别忘了关注转发下,小编好有动力继续~


推荐阅读
author-avatar
Coco李可儿
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有