Google三大论文读后感

Google三大论文读后感

大数据这个词&＃xff0c;很难对此进行明确的定义。通俗的来说&＃xff0c;他就是我们身边的一切&＃xff0c;眼睛所看到的&＃xff0c;耳朵所听到的&＃xff0c;鼻子闻到的&＃xff0c;感觉器官所感觉到的以及一切能够描述出的信息。具体一点&＃xff0c;我们在手机上的通话记录&＃xff0c;聊天记录&＃xff0c;手机电脑储存的图像视频音频&＃xff0c;&＃xff0c;都属于大数据的范畴。

大数据时代&＃xff0c;我们看到的各种数据&＃xff0c;如何储存呢&＃xff1f;储存之后&＃xff0c;如何原封不动的读取出来呢&＃xff1f;谷歌提出了三篇著名的关于大数据的论文&＃xff0c;设计并实现了文字系统&＃xff0c;有效的处理了海量的数据。

首先是Google发布于2003年的Google File System&＃xff08;GFS&＃xff09;论文。Google GFS 文件系统是一个对大量数据进行访问的分布式文件系统。它相对于许多传统的分布式文件系统&＃xff0c;有许多共同的特性。但由于这个设计还受到Google相关技术和环境的影响&＃xff0c;使得这个系统同早先的文件系统存在着明显的区别。

这些区别主要表现在以下几个方面&＃xff1a;1.数据访问时&＃xff0c;集群中的节点失效是一种常态&＃xff0c;而不是一种异常&＃xff1b; 2.Google系统中的文件与我们所熟知的文件概念有区别&＃xff1b;3.文件读写模式和传统的文件系统有区别&＃xff1b;4.文件系统的某些具体操作不再透明&＃xff0c;而且需要应用程序的协助完成&＃xff1b;GFS是为Google应用程序本身而设计的。对数据进行分布式文件系统的存储&＃xff0c;解决了大数据的存储问题。


其次&＃xff0c;就是2004年公布的 MapReduce论文&＃xff0c;描述了大数据的分布式计算方式&＃xff0c;其核心思想是大事化小处理&＃xff0c;最后在合并结果&＃xff0c;先拆分再合并。

Mapreduce模型分map、reduce两部分。根据谷歌三篇大数据论文&＃xff0c;MapReduce 编程模型的原理是&＃xff1a;用户自定义的 Map 函数接受一个输入的 key/value pair 值&＃xff0c;然后产生一个中间key/value pair 值的集合。MapReduce 库把所有具有相同中间 key 值 I 的中间 value 值集合在一起后传递给 reduce 函数。现在MapReduce已经应用到了许多不同的领域&＃xff0c;用于高效的解决各种问题&＃xff0c;比如大规模机器学习问题、大规模的图形计算、大规模的索引等。


最后是发布于2006年的BigTable。Bigtable是一个为管理大规模结构化数据而设计的分布式存储系统&＃xff0c;可以扩展到PB级数据和上千台服务器。Bigtable能满足数据规模、延迟等要求&＃xff0c;为很多产品成功地提供了灵活、高性能的存储解决方案。

Bigtable通过行关键字的字典顺序来组织数据&＃xff0c;列族是访问控制的基本单位&＃xff0c;时间戳用来表示精确到毫秒的“实时”时间&＃xff1b;用户程序也可以给时间戳赋值&＃xff0c;Bigtable还提供了修改集群&＃xff0c;表和列族的元数据的API&＃xff0c;比如修改访问权限。由于 BigTable的客户程序不必通过 Master 服务器来获取Tablet 的位置信息&＃xff0c;因此&＃xff0c;大多数客户程序甚至完全不需要和 Master 服务器通信。


GFS、MapReduce、BigTable这三大理论被称为Google的“三驾马车”&＃xff0c;可见这三大理论的重要价值和地位。要想完全理解这三篇论文需要长期的、丰富的知识积累&＃xff0c;作为一名大二的学生&＃xff0c;对着三篇论文可能不能做到完全理解&＃xff0c;但我们可以从中了解大数据的相关知识&＃xff0c;处理这些问题使用的方法&＃xff0c;通过学习前辈们解决这个问题的方法&＃xff0c;丰富自己的知识积累&＃xff0c;以便轻松地解决自己遇到的问题。同时拓宽自己的视野&＃xff0c;了解计算机领域的相关知识。