面对突发故障，《火星救援》是这么做的

《火星救援》是前段时间一部受到广泛关注的片子，讲述在一次人类登陆火星的任务中，宇航员马克·沃特尼经历了一场恶劣的风暴后，与他的机组成员失联，所有人都认为他在这次任务中丧生。然而，马克却幸运地活了下来，然而他发现自己孤单地置身于异星球。面对贫乏的生命补给，马克必须用他的聪明才智和顽强的精神存活下来，并如何寻求求救的故事。

大部分互联网系统也面临各种临时突发的故障，技术负责人及相关工程师需要及时响应故障，采取合适的手段来解决问题。因此火星救援中体现的很多原则，做法和高可用系统故障恢复是同理。

1、故障信息的透明性

在火星救援中，当NASA发现马克还生存时候，NASA第一时间再次举行了新闻发布会，向媒体及公众进行了交代，包括后续大部分事件如文本聊天，也是通过媒体现场直播，这是信息透明的原则。但是里面只有一点，NASA将相关信息给宇宙飞船的成员隐瞒了很长一段时间，这个是信息不透明带来后果的案例，后面面对公众时也出现了尴尬、被动包括可能需要承担职责的局面。

互联网系统在故障发生时候，技术人员第一时间发现了故障，如果不能马上排除，则需要考虑是否将问题上报、以及将信息公示给所有用户。

给公司上级上报故障在某种程度会对技术团队留下负面印象，给外界用户公示故障会给产品带来负面的印象及不信任。因此保证信息透明需要有一定勇气。但反过来思考，故障已经成为事实，也已经对用户使用系统造成影响，隐瞒问题会带来更多及更大的问题。技术负责人主动承认问题发生，及时通报问题以便各部门采取合适的应对及支援手段，以便能合理利用更多的资源来更早的解决问题。及时公示问题给用户（比如通过官方微博及官方网站），以便争取用户的理解及支持。

从长远来看，所有故障都不是某个人及所在小组的责任，管理层很少会出现迁怒于人的可能，而更多的是去改进体系上及管理上的问题。因此公开故障可以帮助公司及团队更好的、更透明的去认识问题，帮助技术团队做出改进，以便将来从体系上规避类似问题。

2、故障突发性及解决的时限性

火星救援中几个时间点都非常急迫。马克在火星的食品非常有限，并且可能会随时遇到不可预料的情况。尤其是当栖息舱爆炸后，全部种植的马铃薯死亡，且无法再次种植。瓦特尼只能倚靠之前收成的马铃薯生存下去，当时能让他再多活200个火星日。但是发射宇宙飞船登陆火星是一件非常庞大的系统工程，需要做好长时间的准备及周密的测试，并且存在欲速不达的可能。因此火星项目负责人需要在有限的时间内做出最佳可行的方案选择。

故障选择也大多处于类似被动的局面，当故障发生时候，用户访问系统受到影响，需要在尽可能短的时间内恢复服务。但由于时间紧迫，负责人可能没有足够的时间来分析故障的根本原因，只能根据现象及已有经验迅速做出判断。而且根据故障问题的不同，一些恢复手段如数据重建可能需要较长的时间，一些方案可能会超过用户容忍的极限，因此需要技术负责人在短时间内做出快速解决故障的选择。

3、故障中解决方案的技术的决定作用

火星救援中，有几个场景体现了技术的决定作用。一个是中国的太阳神助推器，将宇宙飞船赫耳墨斯号推向火星，一个是航天动力学家里奇·布内尔的航行方案，可以看到，临时的技术方法在救援中起了决定作用。

故障恢复时候也有这样的情况，大家围着主要负责人旁边一筹莫展时候，突然角落里不起眼的程序员说找出了解决方法，然后非常及时的解决了问题。故障时候仅能看到现象，很多时候还没来得及分析出根本的原因，因此技术负责人也很难当机立断提出非常确认的方案来解决问题。熟悉体系的程序员这时候可以发挥自身的能动性，小范围的去推测、尝试及验证，有有很大的机会更快的解决问题。一些故障拖很长时间，有一定程度是团队成员没有有效手段，另外一个原因也许是团队成员群体思维，全部按照主流的思想或者负责人的思路去应对及处理，如果主流方法不是合适解法，有可能会将故障时间拉长。

还有一些公司将线上系统当成黑盒，工程师只需要将自己模块合并进去，无需关注线上运行状况。这种情况一旦出了可用性问题，大部分工程师是一筹莫展的，只能依靠少数几个精英来解决问题，通常不利于问题的迅速解决。

4、预留扩展能力的价值

马克与地球取得联系，是依靠1996年发射的火星探路者号（Pathfinder），并且依靠其预留的通讯接口，让实时文本聊天成为可能。火星救援最后的决定作用是预留的MAV，通过下次任务战神四号预留的MAV上升载具起飞到太空轨道，然后对接上宇宙飞船赫耳墨斯号返回地球。这让马克在食品用完之前返回地球成为了可能。

我们在开发高可用系统时，大部分服务模块的代码都留了一个开关，可以在适当时候开启或者关闭一段代码。虽然在99.9%的场景下这个开关不起作用，但在灾难事故发生时候，可能一个小小的开关犹如发生故障时玻璃窗旁边的救生锤，可以决定整个事故的走向。

马克·瓦特尼回到地球，许多天后的一天清晨，坐在公园长椅喝咖啡，原来我们写代码普通一天也是火星人羡慕的幸福生活。

本文中文翻译参考《火星救援》译林出版社中文版。

本文来源于TimYang微信公众号。