热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

初学大数据需要了解哪些方面的知识?

最近有一些大数据初学者经常在问,比如:大数据这么火,我也想往大数据方面发展,但是英文、数学不好的可以吗??学习大数据该学哪些技术??大数据和程序员比哪个要好学点??等等。。。很多人



最近有一些大数据初学者经常在问,比如:大数据这么火,我也想往大数据方面发展,但是英文、数学不好的可以吗?? 学习大数据该学哪些技术??大数据和程序员比哪个要好学点??等等。。。很多人学大数据的原因就是大数据找工作好找,薪资很高,,当然,为了这个原因也是可以的,毕竟这个时代就业压力确实很大,为了一个好的工作学一门技术,,但是我想问下你,你的专业是什么呢??对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。。


;


大数据是未来的发展方向,正在挑战我们的分析能力及对世界的认知方式,因此,我们与时俱进,迎接变化,并不断的成长!大数据学习群:868加上【八四七】最后735  一起讨论进步学习



其实说这些不是为了说明大数据有多难,只是告诉你这就是大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。。这三个方面没有哪个容易学些、哪个薪资高些、哪个发展前景好些。。。





现如今大数据开源框架也是越来越多,举几个常用的例子:

文件存储:Hadoop HDFS、Tachyon、KFS

流式、实时计算:Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库:HBase、Redis、MongoDB

资源管理:YARN、Mesos

日志收集:Flume、Scribe、Logstash、Kibana

消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务:Zookeeper

集群管理与监控:Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习:Mahout、Spark MLLib

数据同步:Sqoop

任务调度:Oozie

上面有30多种框架了吧,哈哈,是不是有点慌了,虽然有这么多框架,别说全部精通了,就算是全会用的,估计现在也没有几个,就要看你在三个方面往哪个方面发展了。就拿第二个来说(开发/设计、架构),且先听听我的建议:


一、初识hadoop

Hadoop可以算是大数据存储和计算的开山鼻祖,现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么:

  1. Hadoop 1.0、Hadoop 2.0

  2. MapReduce、HDFS

  3. NameNode、DataNode

  4. JobTracker、TaskTracker

  5. Yarn、ResourceManager、NodeManager

自己搭建Hadoop,请使用第一步和第二步,能让它跑起来就行。

建议先使用安装包命令行安装,不要使用管理工具安装。

另外:Hadoop1.0知道它就行了,现在都用Hadoop 2.0.


/v2-


二、更高效的WordCount

首先,你得先学习SQL,访问、查询数据库的基本语言还是要懂的。。然后SQL On Hadoop之Hive,Hive是数据仓库工具,数据仓库是逻辑上的概念,底层使用的是数据库,数据仓库的特点:数据全(海量)、稳定;所谓稳定,比如数据库的数据经常要更新,而数据仓库的数据是不会被更新,只会被查询,所以说Hive适合做数据仓库。最后就是了解hive的工作原理,学会Hive的工作命令。

三、把别处的数据搞到Hadoop上

四、把Hadoop上的数据搞到别处去

五、实例分析

六、实时数据

七、更新查询数据

八、高大上的机器学习

完成了第一、二,说明你已经快步入大数据的行列了。



推荐阅读
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 本文探讨了使用Python实现监控信息收集的方法,涵盖从基础的日志记录到复杂的系统运维解决方案,旨在帮助开发者和运维人员提升工作效率。 ... [详细]
  • 软件测试行业深度解析:迈向高薪的必经之路
    本文深入探讨了软件测试行业的发展现状及未来趋势,旨在帮助有志于在该领域取得高薪的技术人员明确职业方向和发展路径。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 对象存储与块存储、文件存储等对比
    看到一篇文档,讲对象存储,好奇,搜索文章,摘抄,学习记录!背景:传统存储在面对海量非结构化数据时,在存储、分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结 ... [详细]
  • 大数据领域的职业路径与角色解析
    本文将深入探讨大数据领域的各种职业和工作角色,帮助读者全面了解大数据行业的需求、市场趋势,以及从入门到高级专业人士的职业发展路径。文章还将详细介绍不同公司对大数据人才的需求,并解析各岗位的具体职责、所需技能和经验。 ... [详细]
  • Java虚拟机及其发展历程
    Java虚拟机(JVM)是每个Java开发者日常工作中不可或缺的一部分,但其背后的运作机制却往往显得神秘莫测。本文将探讨Java及其虚拟机的发展历程,帮助读者深入了解这一关键技术。 ... [详细]
  • 为何Compose与Swarm之后仍有Kubernetes的诞生?
    探讨在已有Compose和Swarm的情况下,Kubernetes是如何以其独特的设计理念和技术优势脱颖而出,成为容器编排领域的领航者。 ... [详细]
  • 我的读书清单(持续更新)201705311.《一千零一夜》2006(四五年级)2.《中华上下五千年》2008(初一)3.《鲁滨孙漂流记》2008(初二)4.《钢铁是怎样炼成的》20 ... [详细]
  • 本文介绍如何通过整合SparkSQL与Hive来构建高效的用户画像环境,提高数据处理速度和查询效率。 ... [详细]
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
  • 基于iSCSI的SQL Server 2012群集测试(一)SQL群集安装
    一、测试需求介绍与准备公司计划服务器迁移过程计划同时上线SQLServer2012,引入SQLServer2012群集提高高可用性,需要对SQLServ ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • Ansible:自动化运维工具详解
    Ansible 是一款新兴的自动化运维工具,基于 Python 开发,集成了多种运维工具(如 Puppet、CFEngine、Chef、Func 和 Fabric)的优点,实现了批量系统配置、程序部署和命令执行等功能。本文将详细介绍 Ansible 的架构、特性和优势。 ... [详细]
  • 服务器部署中的安全策略实践与优化
    服务器部署中的安全策略实践与优化 ... [详细]
author-avatar
奇力0_843
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有