热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop及Spark学习路线及资源收纳

title:Hadoop及Spark学习路线及资源收纳date:2018-11-1816:19:54tags:Hadoopcategories:大数据toc:tr

title: Hadoop及Spark学习路线及资源收纳
date: 2018-11-18 16:19:54
tags: Hadoop
categories: 大数据
toc: true
点击查看我的博客:Josonlee’s Blog
版权声明:本文为博主原创文章,未经博主允许不得转载(https://blog.csdn.net/lzw2016/)


前言

本人大数据专业方向,收集学习一些相关文章,汇总如下。有些资源来源网络,出处不明,如有错误请告知,谢谢

资源不断更新中。。。

Hadoop

18.11.18

  • 有的旧的官方文档盖楼:Hadoop 0.18文档

  • Hadoop新手学习指导
    (出处: about云开发)
  • 零基础学习hadoop到上手工作线路指导(初级篇)
    (出处: about云开发)

  • 推荐一个博客分类博主LanceToBigData:Hadoop

一、学习路线图

  • Hadoop家族学习路线图 开篇必读
  • Hive学习路线图
  • Mahout学习路线图

二、编程实践

  • Hadoop历史版本安装
  • 用Maven构建Hadoop项目
  • Hadoop编程调用HDFS
  • 用Maven构建Mahout项目
  • Mahout推荐算法API详解
  • 用MapReduce实现矩阵乘法
  • 从源代码剖析Mahout推荐引擎
  • Mahout分步式程序开发 基于物品的协同过滤ItemCF
  • Mahout分步式程序开发 聚类Kmeans
  • PageRank算法并行实现

三、案例分析

  • 海量Web日志分析 用Hadoop提取KPI统计指标
  • 用Hadoop构建电影推荐系统
  • 用Mahout构建职位推荐引擎
  • Mahout构建图书推荐系统
  • PeopleRank从社交网络中发现个体价值

作者:Lincoln
链接:https://www.zhihu.com/question/19795366/answer/24524910
来源:知乎

18.11.20 我来更新了

  • 推荐博文、博主
    • 小小默’s Blog,分类很乱但是内容确实不错
    • Hadoop MapReduce Tutorial,挺赞的
    • 哥不是小萝莉·博客园,偏应用吧,概念什么的不咋地
  • 我还搜到一本书,豆瓣上说不错,《Mapreduce2.0源码分析与编程实战》(那个,你们谁有csdn会员啊,csdn上有这个下载,50积分下不起啊。没找到完整版的,你们有的话分享我一下呗。。。)

Spark

18.11.18

  • 书籍
    • 《Spark快速大数据分析》[美] Holden Karau [美] Andy Konwinski [美] Patrick Wendell [加] Matei Zaharia 著
    • 《Spark大数据处理:技术、应用与性能优化》
    • 《Spark快速数据处理·美 Holden Karau著》

18.11.20 我来更新了

  • 上面推荐的书籍,我一一粗略的翻了一下,最好先看第一本《Spark快速大数据分析》
  • 本人是选用scala作为开发语言,最近也在看这门编程语言。说实话,scala写起来真的是不习惯。。。无语。
    • 最近在看厦大林子雨老师的书和视频——《spark 编程基础·scala版》,书是图书馆借的,挺薄一本讲义类型的书,感觉快速上手scala没问题,他也有配套视频Spark编程基础。有些资料可以上厦大的官网上找到,总之一句话,挺适合小白
    • 慕课网有一门课程《学习Scala 进击大数据Spark生态圈》,收费的,当然你也懂(要善于使用网络资源),我个人是支持知识付费的。这门课我也跟进看了,是讲的scala语言。我感觉单看书就可以了,视频太费时间了
  • 博客资源
    • 关于Spark有哪些大牛们的博客?
    • 徽沪一郎·博客园
    • 等等
  • Spark Overview,这是官方文档,最新的2.4.0版本全英文版。一句话比那些书啊、博客啊好太多了。如果英文不好的话,这里有Spark Overvoew·中文版
  • 就我个人而言,了解scala基础后,在翻完《Spark快速大数据分析》,然后刷文档是非常不错的

最近会停一段时间更新这篇文章,毕竟这么多东西看也要不少时间。我也会把我理解、学习笔记放上来,先这样吧。


点击查看我的博客:Josonlee’s Blog



推荐阅读
  • MapReduce的主要应用场景  可以转化为MR任务的条件:问题必须可以拆分子问题必须独立数据结构能够满足key-value的这样的模式  常见场景: ... [详细]
  • 什么是大数据lambda架构
    一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ... [详细]
  • 大数据分析Python有哪些爬虫框架
    一、ScrapyScrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用 ... [详细]
  • 阿里云大数据计算服务MaxCompute (原名 ODPS)
     MaxCompute是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作,这些工作背后的原因是什 ... [详细]
  • 商业智能_2018 商业智能 10 大趋势报告出炉:从 AI 热到 CDO 崛起,热门趋势抢先读!
    本文由编程笔记#小编为大家整理,主要介绍了2018商业智能10大趋势报告出炉:从AI热到CDO崛起,热门趋势抢先读!相关的知识,希望对你有一定的参考价值。 ... [详细]
  • IIS6.0提供一个重新设计的万维网发布服务(WorldWideWebPublishingService)架构,可以帮助你为你的网站构建更好的性能、可靠、可扩展性(scalabil ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 本文介绍了在sqoop1.4.*版本中,如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件,并重新编译,可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码,重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 1.webkit内核中的一些私有的meta标签,这些meta标签在开发webapp时起到非常重要的作用(1) ... [详细]
  • 《Spark核心技术与高级应用》——1.2节Spark的重要扩展
    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章,第1.2节Spark的重要扩展,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细]
  • 《Spark与Hadoop大数据分析》一一2.3 为何把 Hadoop 和 Spark 结合使用
    spark,与,hadoop,大数,据分析,一一,2,3,为何,把,hadoop,和,s ... [详细]
  • MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ... [详细]
  • Kylin 单节点安装
    软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]
author-avatar
海岛迷情
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有