热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Hadoop及Spark学习路线及资源收纳

title:Hadoop及Spark学习路线及资源收纳date:2018-11-1816:19:54tags:Hadoopcategories:大数据toc:tr

title: Hadoop及Spark学习路线及资源收纳
date: 2018-11-18 16:19:54
tags: Hadoop
categories: 大数据
toc: true
点击查看我的博客:Josonlee’s Blog
版权声明:本文为博主原创文章,未经博主允许不得转载(https://blog.csdn.net/lzw2016/)


前言

本人大数据专业方向,收集学习一些相关文章,汇总如下。有些资源来源网络,出处不明,如有错误请告知,谢谢

资源不断更新中。。。

Hadoop

18.11.18

  • 有的旧的官方文档盖楼:Hadoop 0.18文档

  • Hadoop新手学习指导
    (出处: about云开发)
  • 零基础学习hadoop到上手工作线路指导(初级篇)
    (出处: about云开发)

  • 推荐一个博客分类博主LanceToBigData:Hadoop

一、学习路线图

  • Hadoop家族学习路线图 开篇必读
  • Hive学习路线图
  • Mahout学习路线图

二、编程实践

  • Hadoop历史版本安装
  • 用Maven构建Hadoop项目
  • Hadoop编程调用HDFS
  • 用Maven构建Mahout项目
  • Mahout推荐算法API详解
  • 用MapReduce实现矩阵乘法
  • 从源代码剖析Mahout推荐引擎
  • Mahout分步式程序开发 基于物品的协同过滤ItemCF
  • Mahout分步式程序开发 聚类Kmeans
  • PageRank算法并行实现

三、案例分析

  • 海量Web日志分析 用Hadoop提取KPI统计指标
  • 用Hadoop构建电影推荐系统
  • 用Mahout构建职位推荐引擎
  • Mahout构建图书推荐系统
  • PeopleRank从社交网络中发现个体价值

作者:Lincoln
链接:https://www.zhihu.com/question/19795366/answer/24524910
来源:知乎

18.11.20 我来更新了

  • 推荐博文、博主
    • 小小默’s Blog,分类很乱但是内容确实不错
    • Hadoop MapReduce Tutorial,挺赞的
    • 哥不是小萝莉·博客园,偏应用吧,概念什么的不咋地
  • 我还搜到一本书,豆瓣上说不错,《Mapreduce2.0源码分析与编程实战》(那个,你们谁有csdn会员啊,csdn上有这个下载,50积分下不起啊。没找到完整版的,你们有的话分享我一下呗。。。)

Spark

18.11.18

  • 书籍
    • 《Spark快速大数据分析》[美] Holden Karau [美] Andy Konwinski [美] Patrick Wendell [加] Matei Zaharia 著
    • 《Spark大数据处理:技术、应用与性能优化》
    • 《Spark快速数据处理·美 Holden Karau著》

18.11.20 我来更新了

  • 上面推荐的书籍,我一一粗略的翻了一下,最好先看第一本《Spark快速大数据分析》
  • 本人是选用scala作为开发语言,最近也在看这门编程语言。说实话,scala写起来真的是不习惯。。。无语。
    • 最近在看厦大林子雨老师的书和视频——《spark 编程基础·scala版》,书是图书馆借的,挺薄一本讲义类型的书,感觉快速上手scala没问题,他也有配套视频Spark编程基础。有些资料可以上厦大的官网上找到,总之一句话,挺适合小白
    • 慕课网有一门课程《学习Scala 进击大数据Spark生态圈》,收费的,当然你也懂(要善于使用网络资源),我个人是支持知识付费的。这门课我也跟进看了,是讲的scala语言。我感觉单看书就可以了,视频太费时间了
  • 博客资源
    • 关于Spark有哪些大牛们的博客?
    • 徽沪一郎·博客园
    • 等等
  • Spark Overview,这是官方文档,最新的2.4.0版本全英文版。一句话比那些书啊、博客啊好太多了。如果英文不好的话,这里有Spark Overvoew·中文版
  • 就我个人而言,了解scala基础后,在翻完《Spark快速大数据分析》,然后刷文档是非常不错的

最近会停一段时间更新这篇文章,毕竟这么多东西看也要不少时间。我也会把我理解、学习笔记放上来,先这样吧。


点击查看我的博客:Josonlee’s Blog



推荐阅读
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 深入理解云计算与大数据技术
    本文详细探讨了云计算与大数据技术的关键知识点,包括大数据处理平台、社会网络大数据、城市大数据、工业大数据、教育大数据、数据开放与共享的应用,以及搜索引擎与Web挖掘、推荐技术的研究及应用。文章还涵盖了云计算的基础概念、特点和服务类型分类。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • 龙蜥社区开发者访谈:技术生涯的三次蜕变 | 第3期
    龙蜥社区的开发者们通过自己的实践和经验,推动着开源技术的发展。本期「龙蜥开发者说」聚焦于一位资深开发者的三次技术转型,分享他在龙蜥社区的成长故事。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • JavaScript 实现图片文件转Base64编码的方法
    本文详细介绍了如何使用JavaScript将用户通过文件输入控件选择的图片文件转换为Base64编码字符串,适用于Web前端开发中图片上传前的预处理。 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • 本文对比了杜甫《喜晴》的两种英文翻译版本:a. Pleased with Sunny Weather 和 b. Rejoicing in Clearing Weather。a 版由 alexcwlin 翻译并经 Adam Lam 编辑,b 版则由哈佛大学的宇文所安教授 (Prof. Stephen Owen) 翻译。 ... [详细]
  • 2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日,优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分,有一道题目涉及中国人的血型分布情况,具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中,至少有一人为B型血的概率不低于90%,则需要选取的最少人数是多少?该问题不仅考察了概率统计的基本知识,还要求考生具备一定的逻辑推理能力。 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • 投融资周报 | Circle 达成 4 亿美元融资协议,唯一艺术平台 A 轮融资超千万美元 ... [详细]
  • 如何高效启动大数据应用之旅?
    在前一篇文章中,我探讨了大数据的定义及其与数据挖掘的区别。本文将重点介绍如何高效启动大数据应用项目,涵盖关键步骤和最佳实践,帮助读者快速踏上大数据之旅。 ... [详细]
  • 长期从事ABAP开发工作的专业人士,在面对行业新趋势时,往往需要重新审视自己的发展方向。本文探讨了几位资深专家对ABAP未来走向的看法,以及开发者应如何调整技能以适应新的技术环境。 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
author-avatar
海岛迷情
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有