云计算学习笔记002云计算的理解及介绍,google云计算平台实现原理

什么是云计算&＃xff1a;

l  说的明白一点&＃xff1a;

•    云计算其实就更大限度的发挥网络的资源。

•    那为什么叫云&＃xff0c;为什么不到互联网计算&＃xff1f;Cloud

l 大多数计算的网络拓扑图都用一块“云”来表示互联网。于是就形成了云计算的说法

l  狭义&＃xff1a;是指IT基础设施的交付和使用模式&＃xff0c;是指通过网络以按需、易扩展的方式获取所需要的资源。提供资源的网络被称为“云”。云中的资源在使用者看来是可以无限扩展的&＃xff0c;并且可以随时获取。

l  广义&＃xff1a;是指服务的交付和使用模式&＃xff0c;是指通过网络以按需、易扩展的方式获取所需要的服务。

云计算相关概念

l  云计算

l  --- XXX ---

l  计算资源包括&＃xff1a;CPU运算资源、存储资源、网络带宽等

l  云计算是并行计算、分布式计算和网格计算的发展&＃xff0c;是这些计算机科学概念的商业实现。

l  云计算是虚拟化(Virtualization)、效用计算(UtilityComputing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。

l  云计算服务类形

•    基础设施即服务&＃xff08; IaaS&＃xff09;  - 提供硬件设备

•    app – engine

//比如用户自己弄了一个软件,就可以发布到谷歌的这个app– engine平台上,然后全世界就可以得到你的这个软件的服务了.

•    软件即服务&＃xff08; SaaS &＃xff09; -   WebService

//软件服务,就是说,自己的webservice可以为世界的其他用户提供服务

•    网络服务

•    平台即服务&＃xff08;PaaS&＃xff09; - hadoop(平台) ,Oracle(),MS,

//就是各种大型云服务,比如数据服务,存储服务等等.

•    管理服务提供商&＃xff08;MSP&＃xff09;

//给企业,提供相关的管理服务.

•    商业服务平台

//商业服务,比如给不同公司提供,自己的管理系统等等.

l  InfoWorld网站同数十家公司、分析家和IT用户讨论出了云计算的几大形式。

l  --- XXX ---

l  IaaS —— Infrastructure as a Service

•    是为IT行业创造虚拟的计算和数据中心&＃xff0c;使得其能够把计算单元、存储器、I/O设备、带宽等计算机基础设施&＃xff0c;集中起来成为一个虚拟的资源池来为整个网络提供服务。

•    用多少算多少

•    Amazon WebServices&＃xff0c;简作AWS

•    弹性计算云EC2 &＃xff08;ElasticCompute Cloud&＃xff09;——计算

•    简单存储服务S3 &＃xff08;SimpleStorage Service&＃xff09;—— 存储

l  Amazon使用弹性计算云&＃xff08;EC2&＃xff09;和简单存储服务&＃xff08;S3&＃xff09;为企业提供计算和存储服务。

l  收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。月租费与电话月租费类似&＃xff0c;存储服务器、带宽按容量收费&＃xff0c;CPU根据时长(小时)运算量收费。

l  Amazon把云计算做成一个大生意没有花太长的时间&＃xff1a;不到两年时间&＃xff0c;Amazon上的注册开发人员达44万人&＃xff0c;还有为数众多的企业级用户。

l  有第三方统计机构提供的数据显示&＃xff0c;Amazon与云计算相关的业务收入已达1亿美元。云计算是Amazon增长最快的业务之一。

l  S3&＃xff1a;S3的基础窗口是桶&＃xff0c;桶是存放文件的容器。S3给每个桶和桶中每个文件分配一个URI地址&＃xff0c;因此你可以通过http或者https协议进行访问。&＃xff08;认证、权限控制&＃xff09;

l  Google App Engine这种服务让开发人员可以编译基于Python的应用程序&＃xff0c;并可免费使用谷歌的基础设施来进行托管&＃xff08;最高存储空间达500MB&＃xff09;。

l  网络服务　WebService

•    提供API让开发者能够开发更多基于互联网的应用

•    Google Earth

•    Baidu Map

•    中移动的 FetionWeb Service

1. Google的云计算思路

Ø  属于部署在云端的应用执行环境

Ø  支持Python和Java两种语言

Ø  通过SDK调用Google的各种服务。如GoogleMap、Mail等

Ø  用户可快速、廉价&＃xff08;可免费使用限定的流量和存储&＃xff09;地部署自己开发的应用&＃xff08;如创新的网站、游戏等&＃xff09;

Ø  分布式文件系统Google Distributed File System

Ø  并行数据处理MapReduce

Ø  分布式锁 Chubby

Ø  结构化数据表BigTable

1.      注意,这里的GFS就是google file system.

也就是文件系统

2.      GFS就是google filesystem.是一个分布式的系统,比如内部把这个系统装到了很多机器上,但是对于外界来说,这个系统就是一个整体.

3.      从外部上看,是一个整体,但是从内部看的话,其实是安装在很多系统上的.

4.      MapReduce实际上是一种思想,比如和mvc相似.

MapReduce:例子:比如有一堆单词:

hello world credream

 good

nice

hello world

world

这里用MapReduce解决问题:

首先进行Map(分组),分析空格和回车,指的是一个单词.通过这些分解

Hello 1

World 1

Credream 1

Good 1

Nice 1

Hello 1

Worl 1

World 1

Hello 2

World 3

Credream 1

Good 1

另外一个例子:

然后把三个机器得到结果进行对比,然后得出结果99

1.            GFS设计原则&＃xff1a;

Ø 机器失效不能视为异常现象

Ø 能应付对大型/超大型文件处理

Ø 支持大量用户同时访问

2.            GFS组成&＃xff0d;

Ø GFS集群:一个的Master和多个ChunkServer&＃xff08;块服务器&＃xff09;组成&＃xff0c;并可以多客户端Client访问

Ø GFS设计要点

Ø 每个文件拆成若干个64M文件块Chunk组成

Ø 每个Chunk都由Master根据其创建时间指定ChunkHandle(64)

Ø 文件块被保存在ChunkServer本地磁盘中

4.            Client职责

Ø 包含文件系统的API

Ø 负责和ChunkServer和Master通信

Ø 代表应用程序进行读写操作

Ø Client和Master进行元数据操作

Ø Client和ChunkServer进行文件数据操作

5.            Master职责

Ø 负责管理所有文件系统的元数据

Ø 元数据包括&＃xff1a;命名空间&＃xff0c;访问控制信息&＃xff0c;文件到Chunk的映射信息等

Ø ChunkServer职责

Ø 负责存储chunk文件块

6.            采用中心服务器模式Master

Ø 可以方便地增加ChunkServer

Ø Master掌握系统内所有Chunk Server的情况&＃xff0c;方便进行负载均衡

Ø 不存在元数据的一致性问题

Ø 不缓存数据

Ø 必要性&＃xff1a;Client流式读取&＃xff0c;非重复读写

l   摩尔定律正在走向终结…

Ø 单芯片容纳晶体管的增加&＃xff0c;对制造工艺提出要求

Ø CPU制造18nm技术&＃xff0c;电子泄漏问题

Ø CPU主频已达3GHz时代&＃xff0c;难以继续提高

ü  散热问题&＃xff08;发热太大&＃xff0c;且难以驱散&＃xff09;

ü  功耗太高

单词计数 体现M/R算法