Hadoop的一些认识我与Hadoop不得不说的故事

1、首先Hadoop是什么?

Hadoop是一个分布式计算的解决方案.。&＃xff08;从一个大的方向来讲&＃xff09;

Hadoop是一个开源的框架&＃xff0c;可编写和运行分布式应用处理大规模数据&＃xff0c;是专为离线和大规模数据分析而设计的&＃xff0c;并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop&＃61;HDFS&＃xff08;文件系统&＃xff0c;数据存储技术相关&＃xff09;&＃43; Mapreduce&＃xff08;数据处理&＃xff09;&＃xff0c;Hadoop的数据来源可以是任何形式&＃xff0c;在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能&＃xff0c;具有更灵活的处理能力&＃xff0c;不管任何数据形式最终会转化为key/value&＃xff0c;key/value是基本数据单元。用函数式变成Mapreduce代替SQL&＃xff0c;SQL是查询语句&＃xff0c;而Mapreduce则是使用脚本和代码&＃xff0c;而对于适用于关系型数据库&＃xff0c;习惯SQL的Hadoop有开源工具hive代替。 &＃xff08;从开发人员的角度来看&＃xff09;

2、为什么要了解Hadoop&＃xff1f;

从hadoop能做什么&＃xff0c;进行阐述。hadoop擅长日志分析&＃xff0c;facebook就用Hive来进行日志分析&＃xff0c;2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析&＃xff1b;淘宝搜索中的自定义筛选也使用的Hive&＃xff1b;利用Pig还可以做高级的数据处理&＃xff0c;包括Twitter、LinkedIn上用于发现您可能认识的人&＃xff0c;可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是&＃xff01;在Yahoo&＃xff01;的40%的Hadoop作业是用pig运行的&＃xff0c;包括垃圾邮件的识别和过滤&＃xff0c;还有用户特征建模。&＃xff08;2012年8月25新更新&＃xff0c;天猫的推荐系统是hive&＃xff0c;少量尝试mahout&＃xff01;&＃xff09;

这些大公司都是会利用这些东西如果不知道 那么做为一个行业的开发者有点落伍了。

3、如何学习Hadoop呢&＃xff1f;

4、优点

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的&＃xff0c;这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据&＃xff0c;并保证各个节点的动态平衡&＃xff0c;因此处理速度非常快。

高容错性。Hadoop能够自动保存数据的多个副本&＃xff0c;并且能够自动将失败的任务重新分配。

低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比&＃xff0c;hadoop是开源的&＃xff0c;项目的软件成本因此会大大降低。