服务、云计算云计算学习笔记云计算的理解及介绍,google云计算平台实现原理by小雨

这两天一直在学习服务、云计算-之类的问题,下午正好有机会和大家分享一下.

    什么是云盘算：

    l  说的白明一点：

    •    云盘算其实就更大度限的施展络网的资源。

    •    那为什么叫云，为什么不到联互网盘算？Cloud

    l 大多数盘算的络网拓扑图都用一块“云”来表现联互网。于是就形成了云盘算的说法

    l  义狭：是指IT础基设施的交付和应用模式，是指通过络网以按需、易扩展的式方取获所要需的资源。供提资源的络网被称为“云”。云中的资源在应用者看来是可以无穷扩展的，并且可以随时取获。

    l  义狭：是指服务的交付和应用模式，是指通过络网以按需、易扩展的式方取获所要需的服务。

    云盘算相干观点

    l  云盘算

    l  --- XXX ---

    l  盘算资源括包：CPU算运资源、存储资源、络网宽带等

    l  云盘算是并行盘算、分布式盘算和网格盘算的开展，是这些盘算机科学观点的贸易实现。

    l  云盘算是虚拟化(Virtualization)、用效盘算(UtilityComputing)、IaaS(础基设施即服务)、PaaS(台平即服务)、SaaS(件软即服务)等观点混合演进并跃升的结果。

    l  云盘算服务类形

    •    础基设施即服务（ IaaS）  - 供提硬件备设

    •    app – engine

    //比如用户自己弄了一个件软,以可就宣布到歌谷的这个app– engine台平上,然后全界世以可就失掉你的这个件软的服务了.

    •    件软即服务（ SaaS ） -   WebService

    //件软服务,就是说,自己的webservice可为以界世的其他用户供提服务

    •    络网服务

    •    台平即服务（PaaS） - hadoop(台平) ,Oracle(),MS,

    //就是各种大型云服务,比如数据服务,存储服务等等.

    •    理管服务供提商（MSP）

    //给企业,供提相干的理管服务.

    •    贸易服务台平

    //贸易服务,比如给不同公司供提,自己的理管系统等等.

    l  InfoWorld网站同数十家公司、分析家和IT用户论讨出了云盘算的几大式形。

    l  --- XXX ---

    l  IaaS —— Infrastructure as a Service

    •    是为IT行业造创虚拟的盘算和数据中间，使得其可以把盘算单元、存储器、I/O备设、宽带等盘算机础基设施，会合起来成为一个虚拟的资源池来为全部络网供提服务。

    •    用多少算多少

    •    Amazon WebServices，简作AWS

    •    弹性盘算云EC2 （ElasticCompute Cloud）——盘算

    •    简略存储服务S3 （SimpleStorage Service）—— 存储

    l  Amazon应用弹性盘算云（EC2）和简略存储服务（S3）为企业供提盘算和存储服务。

    l  收费的服务项目括包存储服务器、宽带、CPU资源以及月租费。月租费与话电月租费似类，存储服务器、宽带按容量收费，CPU根据时长(小时)算运量收费。

    l  Amazon把云盘算做成一个大买卖没有花太长的时光：不到两年时光，Amazon上的册注开辟人员达44万人，还有为数众多的企业级用户。

    l  有第三方统计机构供提的数据显示，Amazon与云盘算相干的务业收入已达1亿美元。云盘算是Amazon增加最快的务业之一。

    l  S3：S3的础基窗口是桶，桶是寄存文件的容器。S3给每一个桶和桶中每一个文件分配一个URI址地，因此你可以通过http或者https议协停止问访。（证认、权限控制）

    l  Google App Engine种这服务让开辟人员可以译编基于Python的应用程序，并可费免应用歌谷的础基设施来停止托管（最高存储间空达500MB）。

    l  络网服务 WebService

    •    供提API让开辟者可以开辟更多基于联互网的应用

    •    Google Earth

    •    Baidu Map

    •    中移动的 FetionWeb Service

1. Google的云盘算路思

    Ø  属于部署在云端的应用执行境环

    Ø  持支Python和Java两种言语

    Ø  通过SDK用调Google的各种服务。如GoogleMap、Mail等

    Ø  用户可速快、便宜（可费免应用定限的流量和存储）地部署自己开辟的应用（如新创的网站、游戏等）

    Ø  分布式文件系统Google Distributed File System

    Ø  并行数据理处MapReduce

    Ø  分布式锁 Chubby

    Ø  结构化数据表BigTable

    1.      注意,这里的GFS就是google file system.

    也就是文件系统

    2.      GFS就是google filesystem.是一个分布式的系统,比如部内把这个系统装到了很多器机上,但是对于外界来讲,这个系统就是一个团体.

    3.      从外部上看,是一个团体,但是从部内看的话,实际上是安装在很多系统上的.

    4.      MapReduce实际上是一种思惟,比如和mvc似相.

    MapReduce:例子:比如有一堆单词:

    hello world credream

 good

    nice

    hello world

    world

    这里用MapReduce解决问题:

    首先停止Map(分组),分析空格和回车,指的是一个单词.通过这些分解

    Hello 1

    World 1

    Credream 1

    Good 1

    Nice 1

    Hello 1

    Worl 1

    World 1

    Hello 2

    World 3

    Credream 1

    Good 1

    另外一个例子:

    然后把三个器机失掉结果停止比对,然后得出结果99

    1.            GFS计划则原：

    Ø 器机效失不能视为异常现象

    Ø 能付应对大型/超大型文件理处

    Ø 持支大批用户同时问访

    2.            GFS构成－

    Ø GFS群集:一个的Master和多个ChunkServer（块服务器）构成，并可以多客户端Client问访

    Ø GFS计划要点

    Ø 每一个文件拆成若干个64M文件块Chunk构成

    Ø 每一个Chunk都由Master根据其创立时光指定ChunkHandle(64)

    Ø 文件块被保存在ChunkServer当地磁盘中

    4.            Client职责

    Ø 含包文件系统的API

    Ø 责负和ChunkServer和Master信通

    Ø 代表应用程序停止读写作操

    Ø Client和Master停止元数据作操

    Ø Client和ChunkServer停止文件数据作操

    5.            Master职责

    Ø 责负理管有所文件系统的元数据

    Ø 元数据括包：命名间空，问访控制信息，文件到Chunk的映射信息等

    Ø ChunkServer职责

    Ø 责负存储chunk文件块

    6.            采取中间服务器模式Master

    Ø 可以便方地增加ChunkServer

    Ø Master握掌系统内有所Chunk Server的情况，便方停止负载均衡

    Ø 不存在元数据的致一性问题

    Ø 不缓存数据

    Ø 必要性：Client流式取读，非复重读写

    l   摩尔定律正在走向闭幕…

    Ø 单芯片纳容晶体管的增加，对制造工艺提出要求

    Ø CPU制造18nm技巧，子电泄漏问题

    Ø CPU主频已达3GHz代时，难以续继进步

    ü  散热问题（热发太大，且难以遣散）

    ü  功耗太高

    单词计数 体现M/R算法

文章结束给大家分享下程序员的一些笑话语录： N多年前，JohnHein博士的一项研究表明：Mac用户平均IQ要比PC用户低15%。超过6000多的参加者接受了测试，结果清晰的显示IQ比较低的人会倾向于使用Mac。Mac用户只答对了基础问题的75%，而PC用户却高达83%。