“大数据处理技术基于Hadoop的实战”北上广三地热捧！

随着互联网、移动互联网和物联网的发展&＃xff0c;我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合&＃xff0c;对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具&＃xff0c;首选的是Hadoop平台。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势&＃xff0c;事实上已成为当前互联网企业主流的大数据分析平台。为解决广大系统设计人员深入研究与开发大数据技术的需要&＃xff0c;培训中心特举办“大数据处理技术-基于Hadoop的实战”培训班&＃xff0c;具体事宜通知如下&＃xff1a;

一、培训对象

1&＃xff0c;系统架构师、系统分析师、高级程序员、资深开发人员。

2&＃xff0c;牵涉到大数据处理的数据中心运行、规划、设计负责人。

3&＃xff0c;政府机关&＃xff0c;金融保险、移动和互联网等大数据来源单位的负责人。

4&＃xff0c;高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

二、学员基础

1&＃xff0c;对IT系统设计有一定的理论与实践经验。

2&＃xff0c;有一定的数据仓库与大数据处理的基础知识。

三、师资

由业界知名云计算专家亲自授课&＃xff1a;

杨老师   主要研究网络信息分析以及云计算相关技术&＃xff0c;长期从事通信网管系统、网络信息处理、商务智能(BI)以及电信决策支持系统的研究开发工作&＃xff0c;主持和参与了多个国家和省部级基金项目&＃xff0c;具有丰富的工程实践及软件研发经验。

四、培训要点

互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论&＃xff0c;成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候&＃xff0c;我们在内部交易系统的历史信息之外&＃xff0c;需要一种基于大数据分析的决策模型和技术支持。

大数据通常具有&＃xff1a;数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。大数据处理意味着更严峻的挑战&＃xff0c;更好地管理和处理这些数据也将会获得意想不到的收获。

Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架&＃xff0c;证明了在处理海量网页数据时该框架的优越性。GFS/MapReduce框架实现了更高应用层次的抽象&＃xff0c;使用户无需关注复杂的内部工作机制&＃xff0c;无需具备丰富的分布式系统知识及开发经验&＃xff0c;即可实现大规模分布式系统的部署与大数据的并行处理。

Apache Hadoop开源项目开发团队。他们克隆了GFS/MapReduce框架&＃xff0c;推出了Hadoop系统。该系统已受到学术界和工业界的广泛认可和采纳&＃xff0c;并孵化出众多子项目(如Pig&＃xff0c;Zookeeper和Hive等)&＃xff0c;日益形成一个易部署、易开发、功能齐全、性能优良的系统。

本课程从大数据技术以及Hadoop实战的角度&＃xff0c;结合理论和实践&＃xff0c;全方位地介绍Hadoop这一高性能处理大数据工具的开发技巧。本课程涉及的主题包括&＃xff1a;Hadoop分布式文件系统及Hadoop的I/O&＃xff1b;MapReduce的的工作机制、类型和格式&＃xff1b;如何构建和管理Hadoop集群&＃xff1b;Pig Latin语言的使用技巧&＃xff1b;Hive数据仓库工具介绍&＃xff1b;HBase和Zookeeper工具的使用和管理&＃xff1b;开源数据采集工具sqoop。

教学过程中还提供了案例分析来帮助学员了解如何用Hadoop系列工具来解决具体的问题&＃xff0c;并介绍了从大数据中挖掘出有价值的信息的关键。本课程不是一个泛泛的理论性、概念性的介绍课程&＃xff0c;而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验&＃xff0c;在课程中将会针对这些问题与学员一起进行研究&＃xff0c;在关键点上还会搭建实验环境进行实践研究&＃xff0c;以加深对于这些解决方案的理解。

五、培训内容

第一讲 云计算及大数据处理技术介绍

  1&＃xff09;云计算的概念

  2&＃xff09;云计算发展现状

  3&＃xff09;大数据的概念

  4&＃xff09;大数据的应用

  5&＃xff09;大数据关键技术

第二讲 Google中的关键技术

  1&＃xff09;GFS文件系统

  2&＃xff09;Chubby中的Paxos算法

  3&＃xff09;MapReduce技术机制

  4&＃xff09;Bigtable表管理技术

第三讲 Hadoop文件系统HDFS及其文件结构

  1&＃xff09; Hadoop项目简介

  2&＃xff09; HDFS体系结构

  3&＃xff09; HDFS关键运行机制

  4&＃xff09; Hadoop vs Google

  5&＃xff09; Hadoop API   

第四讲 MapReduce编程模型及其应用开发

  1)  MapReduce产生背景

  2)  MapReduce编程模型

  3)  MapReduce实现机制

  4)  MapReduce案例分析

第五讲 Pig Latin及其使用

   1&＃xff09;Pig 设计的目标

   2&＃xff09;Pig Latine介绍

   3&＃xff09;Pig关键性技术

   4&＃xff09;Pig的实用案例

第六讲 数据仓库Hive使用

   1) Hive设计目标

   2) Hive数据模型

   3) Hive关键性技术

   4) Hive的使用案例

第七讲 HBase和ZooKeeper使用

   1&＃xff09; Hbase运行机制简介

   2&＃xff09; HBase与 HDFS

   3&＃xff09; HBase的对外接口

   4&＃xff09; ZooKeeper的数据模型

   5&＃xff09; ZooKeeper的读写机制

   6&＃xff09; ZooKeeper的使用方法

第八讲 数据抽取工具Sqoop使用

   1&＃xff09;数据抽取技术介绍

   2&＃xff09;Sqoop中的关键技术

   3&＃xff09;Sqoop数据抽取策略

   4&＃xff09;数据挖掘及分析

第九讲 当前数据中心的改造和转换分析

   1&＃xff09;主流商业大数据解决方案比较

   2&＃xff09;主流开源云计算系统比较 

   3&＃xff09;国内代表性大数据平台比较 

第十讲各厂商最新的大数据产品介绍

   1&＃xff09;IBM的大数据技术

   2&＃xff09;HP的大数据技术

   3&＃xff09;Teradata的大数据技术

   4&＃xff09;其它厂商的大数据处理

六、培训目标

1,全面了解大数据处理技术的相关知识。

2&＃xff0c;学习Hadoop的核心技术方法以及应用特征。

3&＃xff0c;深入使用Hadoop相关工具在大数据中的使用。

4&＃xff0c;掌握传统数据中心向云计算中心转换的关键技术。

七、培训时间、地点

时间&＃xff1a; 2014年2月27日-3月1日    地点&＃xff1a;深圳

时间&＃xff1a; 2014年3月13日-3月15日   地点&＃xff1a;北京

时间&＃xff1a; 2014年3月20日-3月22日   地点&＃xff1a;上海

一季度公开课安排&＃xff1a;