大数据的发展，伴随的将是软件工程师的渐退，算法工程师的崛起

大数据在人类历史长河的各个时期一直存在着&＃xff0c;只是要等到技术发展到一定阶段&＃xff0c;它才开始崭露头角。而它的未来又在哪里&＃xff1f;来自 Intercom 的工程师 Cathal Horan 表达了他对大数据的看法&＃xff0c;他认为&＃xff0c;未来属于算法&＃xff0c;而不是代码。以下内容翻译自 Cathal 在 hackernoon 网站发表的博文&＃xff0c;已获得翻译授权。原文链接&＃xff1a;The future is algorithms, not code。

“大数据时代”的称号并不能为当今世界所独享&＃xff0c;数据充斥着人类文明历史长河的各个时期。纵观这些历史时期&＃xff0c;通过从离散到抽象的转换&＃xff0c;我们就会明白为什么算法比代码重要。

说到大数据……

如果我们把整个人类历史看成一天&＃xff0c;那么我们只能从晚上 11 点 7 分开始说起。这是安静的一天。但是在随后的一丁点时间里&＃xff0c;我们积攒了很多知识和故事&＃xff0c;并打算将它们传达给其他人。你可以想象最开始人类通过对话的形式将知识代代相传&＃xff0c;从父辈传给子辈&＃xff0c;从老师传给学生。但是整个社会的知识量增长迅速&＃xff0c;以至于最初的对话形式无法传达这么多的信息。

我们需要将这些信息编撰成册进行保存和传播。通过书写的方式将知识编撰成册代表着这些时期在技术上的重大转变。事实上&＃xff0c;苏格拉底&＃xff08;柏拉图“斐德罗篇”里的角色&＃xff09;认为这种技术转变比不上最初的对话形式&＃xff0c;担心它会降低我们开发智慧和知识的能力。所以很自然地&＃xff0c;我不认为苏格拉底会喜欢电视。

问题的核心是&＃xff0c;对话代表了一种离散的沟通手段。你知道你的交谈对象是谁&＃xff0c;而且参与对话的人通过论证和反证的方式进行直接的互动。反过来&＃xff0c;书本是一种抽象的沟通手段&＃xff0c;作者和读者之间不存在直接的互动。作者并不知道谁读了他的书&＃xff0c;也不知道有多少人、在什么时候、在哪里读了他的书。有时候&＃xff0c;我们可能知道潜在的读者群体是谁&＃xff0c;然后根据读者群体进行内容裁剪。不过大多数时候&＃xff0c;书本都只是一种抽象的传播知识和学习新技能的手段。

等腰三角形的大数据

当我们从简单的计算形式转变为由定理、符号和算法组成的抽象形式&＃xff08;我们现在称其为数学&＃xff09;&＃xff0c;就开启了另一个大数据时代。第一批有记载的计算发生在公元前 2500 年的美索不达米亚。当时&＃xff0c;美索不达米亚人需要计算出一谷仓的粮食能够养活多少人。

美索不达米亚人有具体的问题关注点&＃xff0c;他们很清楚需要解决的问题是什么。他们的计算都是很离散的&＃xff0c;因为每一次计算只能解决一个问题。这也就是为什么评论家们认为它们不是数学。直到公元前 500 年的古希腊&＃xff0c;毕达哥拉斯学者们&＃xff08;可以把他们认为是早期的 Google 使用者&＃xff0c;哈哈&＃xff09;开始针对三角形提出了一些奇怪的问题。比如&＃xff0c;他们想知道等腰直角三角形的三个边能否都是整数&＃xff08;这听起来像不像一个 Google 风格的面试题&＃xff1f;&＃xff09;。

如果你想通过离散的方式来解答这个问题&＃xff0c;那么可以像美索不达米亚人那样做。不过&＃xff0c;随着数字的增加&＃xff0c;这种方式会显得很笨重。要证明这个假设&＃xff0c;你需要进行多少次计算&＃xff08;其实这个假设是错误的&＃xff0c;三个边不可能都是整数&＃xff09;&＃xff1f;等腰三角形问题的不同之处在于&＃xff0c;它不存在具体的关注点。我们不知道三角形的大小&＃xff0c;也不知道它们的边长&＃xff0c;而且它们的大小可能是无限的。如果我们在数字上应用推理&＃xff0c;那么就进入了数学领域&＃xff0c;大数据也就接踵而至。毕达哥拉斯式的思维方式体现了数学的抽象特征&＃xff0c;在今天&＃xff0c;我们使用符号、规则和推理来解答这类抽象的问题。

或许你想知道人类历史上的其他大数据时期&＃xff0c;不过我想直接跳到 20 世纪&＃xff0c;看看代码如何成为现代技术领域的重要组成部分&＃xff08;如果你有其他大数据时期的资料&＃xff0c;可以联系我 &＃64;cathalhoran&＃xff0c;我相信它们会很有趣&＃xff09;。

代码的崛起

1945 年&＃xff0c;当 Grace Hopper 开始在 Harvard Mark I 计算机上工作时&＃xff0c;编码&＃xff08;或者说编程&＃xff0c;不过我们不打算在这里区分它们有什么不同&＃xff09;这项工作的重要性就开始凸显出来。在这之前&＃xff0c;电脑&＃xff08;如果可以这么叫它的话&＃xff09;充其量只是个计算工具。以二战为例&＃xff0c;当时的大炮需要借助矩阵进行辅助瞄准。矩阵是一些方程式的计算结果&＃xff0c;这些方程式使用数百种不同的计算因子&＃xff0c;比如距离、海拔、风速、温度、湿度&＃xff0c;等等。电脑&＃xff08;computer&＃xff09;这个名字的由来也是很偶然的&＃xff0c;人们用它描述在二战中操作计算机的女性&＃xff0c;她们被称为“computer”。操作员们必须使用打孔卡和曲柄来处理方程式。一个打孔卡需要 170 个人月才能完成。

这个与我们之前讨论的事情有什么相似之处&＃xff1f;美索不达米亚人使用黏土矩阵来进行计算&＃xff0c;而到了 20 世纪&＃xff0c;计算媒介变成了编码。虽然已经有了长足的进步&＃xff0c;不过编码仍然是一种离散的操作&＃xff0c;因为它执行的是具体的计算任务&＃xff0c;只是效率上有所提升而已。编码解放了人工操作&＃xff0c;让我们可以处理更多的数据。

算法与代码

算法&＃xff1a;一系列用于描述一个问题解决方案的步骤&＃xff0c;符合正确性和有限性的标准。是与具体实现相互独立的抽象计算步骤。

代码&＃xff1a;一系列计算机指令。它们是计算的具体实现&＃xff0c;使用一种特定的编程语言&＃xff0c;运行在一个特定的平台上。

人们可以借助这种直接向计算机发送编码指令的方式来实现更为复杂的指令序列&＃xff0c;并以算法的形式呈现出来。算法比编码的出现要早得多。穆斯林数学家 Al-Khawarizm 早在公元 820 年就对解决线性方程和二次方程式的算法进行了描述。算法一词来源于这位数学家的拉丁文名字“Algoritmi”&＃xff0c;而“algebra”则来源于“al-jabr”&＃xff0c;Al-Khawarizm 用它来解决二次方程式问题。算法由一系列有限的计算或指令组成&＃xff0c;并产生一个结果。正如我们所知道的那样&＃xff0c;代码是向计算机发出指令的一种方式&＃xff0c;很适合用于实现算法。它们只不过是一系列按照一定次序执行的操作。

与早期的大数据时期一样&＃xff0c;我们这个时代的信息量也在增长。根据摩尔定律&＃xff0c;我们在编码的设计和使用方面所作的改进换来了性能的提升&＃xff0c;从而能够应付不断增长的数字化需求。你可以继续编写代码从数据库查询相关的资源列表。这些操作的离散特征仍然被保留了下来&＃xff0c;因为人们仍然在通过编写代码告诉硬件应该做哪些事情。就算操作变得越来越复杂&＃xff0c;它仍然只是人类的编码指令。不过&＃xff0c;算法已经开始展露头角&＃xff0c;正在创造一个抽象的新时代。

算法的崛起

所以说&＃xff0c;算法和代码之间有很大的不同。代码可以用来实现算法&＃xff0c;而且代码的实现方式会影响到性能。例如&＃xff0c;如果你要从一个序列里找出最大或最小的元素&＃xff0c;那么二叉堆的性能相比其他的数据结构要好很多。不过&＃xff0c;你已经没有必要通过编写代码来实现一个算法&＃xff0c;就像没有必要通过听音乐来写歌一样。

虽然每个人都知道摩尔定律的魔力&＃xff0c;驱动数字经济发展的性能改进遵循的就是摩尔定律&＃xff0c;但鲜有人知道&＃xff0c;在很多领域&＃xff0c;算法所产生的性能改进已经超过了硬件所带来的性能提升。实际上&＃xff0c;2010 年的一份官方报告表明&＃xff0c;算法已经为很多领域带来了显著的性能提升&＃xff0c;比如语音识别、神经语言处理和物流。

“更加令人感到吃惊但同时又令人难以理解的是&＃xff0c;在很多领域&＃xff0c;算法为性能带来的提升已经远远超过了处理器速度提升所带来的性能改进。”——面向总统和国会的报告&＃xff1a;设计数字的未来

抽象算法

我们现在拥有大量的数据&＃xff0c;这意味着我们不能再用离散的思维来思考问题。大数据促使我们转变思维。它促使我们向后退一步&＃xff0c;去寻找能够处理数据洪流的方法。按照传统的方式&＃xff0c;你可能会根据一些指定的模式或参数编写代码来查询数据。例如&＃xff0c;你可能想从数据库中查找在过去两周买过 2 件商品并且支付超过 30 欧元的顾客&＃xff0c;因为你想联系到这些顾客&＃xff0c;并向他们推荐一些优惠活动。你使用这个模式来查找匹配的数据。不过大数据却正好相反&＃xff0c;你先有了数据&＃xff0c;然后查找可以匹配这些数据的模式。

想想看&＃xff0c;有这么多的数据&＃xff0c;但是我们却找不到匹配的模式&＃xff0c;所以我们要回退一步。我们通过集群、分类、机器学习和其他新的支撑技术来寻找模式&＃xff0c;而能够帮助我们做到这点的是算法&＃xff0c;不是代码。要找到隐藏在暗处的模式&＃xff0c;跨出这一步是必需的。与光谱一样&＃xff0c;有一些波长的光线我们是看不到的&＃xff0c;而超过一定数据量之后的模式我们也是看不到的&＃xff0c;它就是大数据。

我们不仅可以从中搜索到模式&＃xff0c;它还能够生成做这些事情所需要的代码。Pedro Domingos 在“The Master Algorithm”一书中描述了如何使用“学习者算法”来创建新的算法&＃xff0c;这些算法可以反过来为我们编写我们所需要的代码&＃xff0c;“通过机器学习&＃xff0c;计算机可以自己编程&＃xff0c;我们就可以解放了”。为了实现这个目标&＃xff0c;我们需要更好地理解这些算法的原理&＃xff0c;以及如何让它们与我们的需求相匹配。否则&＃xff0c;我们就无法向抽象转变。

“工业的发展让手工劳动自动化&＃xff0c;信息的发展让脑力劳动自动化&＃xff0c;而机器学习则让它自己自动化。如果没有机器学习&＃xff0c;程序员就会成为发展瓶颈。而有了机器学习&＃xff0c;发展的速度就会加快。”——Pedro Domingos&＃xff0c;“The Master Algorithm”

思考算法

不过&＃xff0c;不管如何从离散转变成抽象&＃xff0c;我们仍然需要程序员&＃xff0c;但这不是重点。并不是说代码已经变得不重要了&＃xff0c;也不是说代码就不会再带来任何改进。重点在于&＃xff0c;我们要开始思考算法&＃xff0c;这不仅仅是数学家或学者的事情。我们周边充斥着各种算法&＃xff0c;以致于我们不需要知道如何编写代码来使用它们&＃xff0c;或者理解它们。现在&＃xff0c;有一些人通过新的算法对不同的领域进行优化和改进&＃xff0c;他们使用了遗传编程&＃xff08;genetic programming&＃xff09;和大数据技术。人们甚至创造了更好的优化技术&＃xff0c;他们观察金属的冷却过程&＃xff0c;并通过算法对其进行建模&＃xff08;被称为模拟退火算法&＃xff0c;这就是我们应该从算法角度开始考虑问题的一个最好的例子&＃xff09;。

编码作为新数字经济的关键技能&＃xff0c;就像学习如何阅读一样&＃xff0c;已经模糊了我们对算法的理解。算法正逐渐成为我们生活的组成部分&＃xff0c;从电影推荐到新闻过滤和寻找合作伙伴。我们要更好地理解它们&＃xff0c;这样才能更好地理解和掌控我们的未来

大数据算法

目录

绪论

时间亚线性算法

空间亚线性算法

外存算法概述

外存查找结构

外存图数据算法

MapReduce算法概述

MapReduce算法例析

超越MapReduce的并行大数据处理

众包算法

总结

需要这篇大数据算法pdf学习资料的小伙伴可以点赞&＃43;转发&＃43;关注&＃xff01;后台小信封扣【9】撩我领取吧&＃xff01;后面还会有很多干货。我有一些面试题、架构、设计类资料可以说是程序员面试必备&＃xff01;所有资料都整理到网盘了&＃xff0c;需要的话欢迎下载&＃xff01;私信我回复【9】即可免费获取