最近我在思考的一件事情&＃xff1a;如何帮助团队 SQL 开发快速掌握大数据相关技术呢&＃xff1f;面对疯狂暴涨的数据&＃xff0c;SQL Server 存储成本越来越高了&＃xff0c;日志的增长量也极大超过预期&＃xff0c;隔三差五总有空间不足导致的应用异常。而且各种多样化的查询需求&＃xff0c;在海量数据环境中&＃xff0c;响应也越发慢了。
打开Google &＃xff0c;开始琢磨起来&＃xff0c;找到两个工具&＃xff1a; HDP, CDH.
Hortonwork Hadoop 与 Cloudera Hadoop 是两大 Hadoop 实施商。
Cloudera 是老牌的 Hadoop 供应商&＃xff0c;除了定制化的 Hadoop 还提供培训以及支持。
Hortonworks 是新兴的 Hadoop 供应商&＃xff0c;与 Cloudear 最大的不同&＃xff0c;他是免费的。但同样也提供培训与支持&＃xff0c;培训与支持是收费的。
https://www.springpeople.com/blog/hortonworks-or-cloudera-which-one-is-better
文章针对 hortonworks hadoop(HDP) , Cloudera hadoop(CDH) 的优缺点做了详细的阐述&＃xff0c;给我们选型 Hadoop 供应商提供了参考
之所以对 Hortonworks 的 Hadoop 进行研究&＃xff0c;纯碎是因为它开源。因为你研究透了它&＃xff0c;你自己就可以定制 Hadoop 套件&＃xff0c;成立自己的大数据咨询公司&＃xff0c;这么想&＃xff0c;是不是有些许动心了呢&＃xff1f;
Hortonworks 旨在用 Apache 开源组件搭建 Hadoop 平台&＃xff0c;这些组件都是属于 Apache 旗下&＃xff0c;全部开源。包括三大产品&＃xff1a; Horton Data Platform, HDP&＃xff1b;Apache Ambai ; SmartSense
Hortonworks Hadoop 提供了VMWare, Virtual box 以及 Docker 容器等快速安装的镜像&＃xff0c;这些镜像基于单个节点&＃xff0c;用来快速体验 HDP 的使用&＃xff0c;这是台一体机&＃xff0c;下载的文件后缀名是.ova. 这才是本文的重点。完完全全从一个扣 SQL 的开发者&＃xff0c;摇身一变&＃xff0c;操盘 10 个亿的大数据工程师。这段时间不会超过 2 小时&＃xff01;
就看你 In Or Not &＃xff0c; 来不来&＃xff1f;下载地址在这里&＃xff0c;只帮你到这儿了&＃xff1a;
https://hortonworks.com/downloads/#data-platform
这不是替他们打广告&＃xff0c;我不持有他们公司的任何股票&＃xff01;
介绍这款软件&＃xff0c;来源于曾经的一个失败的想法&＃xff1a;我想用 http://asp.net 搭建一个学习环境&＃xff0c;让所有的使用者都可以在不用安装 SQL Server 环境下就可以学会 SQL。基于种种原因&＃xff0c;这个项目破产了。而如今有这么好的资源&＃xff0c;可以帮大家快速上手大数据的学习&＃xff0c;我当然愿意推荐了&＃xff01;
回到正题&＃xff0c;我们来走一遍 Hortonworks Hadoop 的玩法。
在整个不到 2 小时的使用中&＃xff0c;我大概体验了这些操作&＃xff1a;
1 在 Hive 中创建表
2 学会了 Hive 基本的 DML 语句&＃xff0c;比如&＃xff1a; SELECT, WHERE,GROUP BY, SORT&＃xff0c;Join
3 使用 Pig Latin1, 做了一次 ETL 的实现
比起纯粹使用 Apache Hadoop, Hive 来构建分布式系统&＃xff0c; 使用套件可以更形象的帮我们建立直观感受&＃xff0c;加深对概念的理解。
在 HDP 中&＃xff0c;Ambari 是作为开发者与 Hadoop 底层交互的界面&＃xff0c;非常友好&＃xff0c;拿出一照片&＃xff0c;领略下界面的风格&＃xff08;保证看了之后&＃xff0c;想自己开公司做咨询的&＃xff0c;至少在底层封装方向上&＃xff0c;可以放弃了&＃xff09;&＃xff1a;
这是 HDP 的 Dashboard, 通过它我们可以连接到其他组件的控制台&＃xff0c;比如 HDFS, Hive, Pig, Spark 等
Hive 作为分布式数据仓库&＃xff0c;在支持 SQL 基本语法的同时&＃xff0c;帮我们开发者封装了 MapReduce 底层编程实现&＃xff0c;使得我们不需要重复开发 Java 程序来实现常见的数据库操作&＃xff0c;亦可操作 T/P/E 级的数据量。
1 我们只需要在 Ambari 中找到 Hive 2 View 就可以像 SQL Server Management Studio 管理SQL Server 一样来操作 Hive.
如此清晰的编辑界面&＃xff0c;简洁的 SQL 风格&＃xff0c;SQL 开发者们可谓分分钟上手
2 使用 Pig 实现 ETL&＃xff1a; 我们平时用的最多的ETL 工具&＃xff0c;有 SSIS, Informatic 等&＃xff0c; 而在大数据环境下&＃xff0c;使用 Pig Latin 一样可以实现 ETL 的功能。遇上特别复杂的计算&＃xff0c;Pig 还可以扩展&＃xff0c;调用 Java, Python 的方法。
是不是够简单&＃xff0c;想要跃跃欲试&＃xff0c;超级方便&＃xff0c;下载他的一体机打开运行即可&＃xff01;
唯一的条件&＃xff0c;内存要超级强悍&＃xff0c;我的内存 8G&＃xff0c; 大家看图感受下我当时的心情。
本文转载自&＃xff1a;https://blog.csdn.net/wujiandao/article/details/80558759
京公网安备 11010802041100号