云计算与海量数据处理技术

一、培训要点

        今天&＃xff0c;随着IT规模越来越大&＃xff0c;数据规模呈几何级数增长&＃xff0c;已经超出了传统技术方法所能解决的范畴。为此&＃xff0c;人们把目光转向了刚刚兴起的云计算&＃xff0c;希望通过云计算来实施海量数据处理解决方案&＃xff0c;实现以更小的成本来处理更大规模数据的目标&＃xff0c;并成为目前云计算应用所面对的极大挑战。本课程基本思想如下&＃xff1a;

1&＃xff0c;目前&＃xff0c;“云计算”已经不是一个刚刚流行的时髦概念了&＃xff0c;在一些传统IT方法显得无能为力的场合&＃xff0c;云计算正在开始大展拳脚&＃xff0c;表现了强大的解决问题的能力&＃xff0c;海量数据存储与处理正是属于这种场合。我们如何在云计算分布式环境下正确设计大数据量数据模型&＃xff1f;如何在设计中解决资源、效率、安全性、可靠性等一系列极难平衡的问题&＃xff1f;如何通过云计算帮助我们解决在传统IT技术中看似解决不了的敏感问题&＃xff1f;这些都是我们在云计算架构设计中需要深入研究的键问题。

2&＃xff0c;理解问题最好的方法是分析成功案例&＃xff0c;本课程分别从多个角度分析在面对海量数据处理的困难时&＃xff0c;不同的应用体系是如何解决问题并获得成功的。研究这些已有的体系不是目的&＃xff0c;而是希望学员能够通过学习这些解决问题的方法和思路&＃xff0c;通过归纳整理深入理解&＃xff0c;再根据自己所面对的领域特征&＃xff0c;形成解决具体实际问题的方案。这也是让云计算在海量数据处理领域真正发挥作用的有效途径。

3&＃xff0c;云计算是一种服务&＃xff0c;在云计算应用架构设计中&＃xff0c;就必须考虑作为服务与普通的产品设计有哪些不同&＃xff1f;需要考虑的产品的服务特征有哪些&＃xff1f;如何搭建面向不同层次、合适的服务平台&＃xff1f;在这个过程中&＃xff0c;我们需要考虑哪些问题&＃xff1f;有哪些成功的案例&＃xff1f;有些什么解决方案&＃xff1f;

4&＃xff0c;云计算应用最重要的问题是安全问题。安全不是一个后期需要解决的独立问题&＃xff0c;而是在前期就需要投入巨大精力来考虑的产品策略。可以说&＃xff0c;安全性与可用性是云计算能否顺利实施与应用的关键点&＃xff0c;也是云计算架构设计的关键因素。我们应该如何考虑安全问题&＃xff1f;如何解决诸如数据安全、网络安全、主机安全、数据管理以及灾难恢复等一系列问题&＃xff1f;如何制定合适的安全性与可用性策略&＃xff1f;在实践中有什么经验和教训&＃xff1f;

5&＃xff0c;为了把传统数据中心改造为基于云计算的服务系统&＃xff0c;虚拟化是一个重要手段。我们必须深入研究虚拟化技术是如何实现的。虚拟化技术有哪几个层面的问题&＃xff1f;如何正确应用虚拟化技术来实现把基础设施向服务转型&＃xff1f;各种虚拟化技术有些什么优点&＃xff1f;有哪些陷阱&＃xff1f;如何规划技术解决方案&＃xff1f;如何正确进行云计算体系结构设计&＃xff1f;

本课程不是一个泛泛的理论性、概念性的介绍课程&＃xff0c;而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验&＃xff0c;在课程中将会针对这些问题与学员一起进行研究&＃xff0c;在关键点上还会搭建实验环境进行实践研究&＃xff0c;以加深对于这些解决方案的理解。通过本课程学习&＃xff0c;希望推动国内云计算项目开发上升到一个新水平。

二、培训内容

第一讲云计算的概念与现状

  1&＃xff09;云计算的概念

  2&＃xff09;云计算发展现状

  3&＃xff09;云计算实现机制

  4&＃xff09;云计算的发展环境

  5&＃xff09;云计算的优势

第二讲从Google云计算体系&＃xff0c;理解海量数据处理的方法

  1&＃xff09;如何构建海量存储文件系统&＃xff1f;

      GFS系统架构

      GFS容错机制

      GFS系统管理技术

      MapReduce产生背景

      MapReduce编程模型

      MapReduce实现机制

      MapReduce案例分析

  2&＃xff09;如何提供锁服务解决分布式数据一致性问题&＃xff1f;

      Chubby的设计思路

      Chubby中的Paxos算法

      Chubby文件系统

  3&＃xff09;如何建立规模庞大的高性能表结构&＃xff1f;

      BigTable设计目标

      BigTable系统架构

      BigTable服务器

      BigTable性能优化

  4&＃xff09;如何建立高可用性和高可扩展性的数据系统&＃xff1f;

      Megastore设计目标

      Megastore数据模型

      Megastore事务及并发控制 

      Megastore基本架构

      Dapper监控系统

      Dapper关键性技术

      Dapper工具

第三讲从Hadoop云计算项目&＃xff0c;进一步研究云数据处理方法

  1&＃xff09;HDFS&＃xff1a;高可靠性处理机制及应用

      Hadoop项目简介

      HDFS体系结构

      HDFS关键运行机制

      Hadoop vs Google

      Hadoop API

      Hadoop环境搭建

  2&＃xff09;HBASE&＃xff1a;庞大、极其稀疏的可扩展性数据模型

      Hbase简介

      HBase的运行机制

      HBase与 HDFS

      HBase的对外接口

      ZooKeeper的数据模型

      ZooKeeper的读写机制

      ZooKeeper的使用方法

第四讲从Windows Azure&＃xff0c;理解平台即服务的本质

  1&＃xff09;微软云计算平台

  2&＃xff09;微软云操作系统Windows Azure

  3&＃xff09;微软云关系数据库SQL Azure

  4&＃xff09;Azure AppFabric

  5&＃xff09;Azure Marketplace

第五讲从Amazon云计算&＃xff0c;讨论如何提供云服务

  1&＃xff09;Dynamo基础存储架构

  2&＃xff09;弹性计算云EC2

  3&＃xff09;简单存储服务S3

  4&＃xff09;简单队列服务SQS 

  5&＃xff09;简单数据库服务Simple DB

  6&＃xff09;关系数据库服务RDS

  7&＃xff09;内容推送服务CloudFront

第六讲实施云计算的关键点&＃xff1a;安全策略

  1&＃xff09;云计算安全是一个必须前期重视的策略

  2&＃xff09;云计算的特征与安全挑战

  3&＃xff09;云计算的安全体系与关键技术

  4&＃xff09;基础架构云安全框架

  5&＃xff09;云计算安全平台

第七讲当前数据中心如何向云计算环境转变&＃xff1f;

  1&＃xff09;VMware云产品

  2&＃xff09;云管理平台 vCenter

  3&＃xff09;vCloud Service Director

  4&＃xff09;VMware的网络和存储虚拟化

  5&＃xff09;主流商业云计算解决方案比较

  6&＃xff09;主流开源云计算系统比较 

  7&＃xff09;国内代表性云计算平台比较 

第八讲基础设施即服务&＃xff08;IaaS&＃xff09;关键实现技术

  1&＃xff09;IaaS技术体系概述

  2&＃xff09;服务器虚拟化技术

      CPU虚拟化

      内存虚拟化

      I/O虚拟化

  3&＃xff09;存储虚拟化技术

      存储系统概述

      存储设备层的存储虚拟化

      块聚合层的存储虚拟化

      文件/记录层的存储虚拟化

  4&＃xff09;主机网络虚拟化

第九讲软件即服务&＃xff08;SaaS&＃xff09;关键实现技术

  1&＃xff09;SaaS技术概述

  2&＃xff09;呈现层技术综述

  3&＃xff09;调度层技术

      基于DNS的调度

      基于虚拟IP的调度

      基于链路聚合的调度

      基于应用的调度

      调度策略

  4&＃xff09;业务层

  5&＃xff09;数据层

  6&＃xff09;用户管理和配置管理

  7&＃xff09;用户体验的设计

  8&＃xff09;课程总结

                                                                      中科院计算所培训中心