2021年,分布式云成为云计算领域关注的热点。经过一年时间的探索与沉淀,分布式云开始从理论走向实践,诸多云计算头部企业夯实分布式基础设施建设、优化分布式资源调度、开发分布式应用,为构建分布式云打下了坚实的基础。
12月15日,以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开,本届大会由全球分布式云联盟、深圳科技交流服务中心、深圳市通信学会、众视Tech联合主办。组委会携手阿里云、腾讯云、Google Cloud、华为云、蚂蚁集团、浪潮云、金山云等海内外顶尖云计算团队和分布式云先锋企业,为粤港澳大湾区数字经济发展注入分布式云动力,更将中国分布式云计算发展推上全新高度!
在16日下午举办的分布式安全存储论坛上,亚马逊云科技 高级产品解决方案架构师 崔俊杰,发表了题为《安全从云边缘做起》的精彩演讲。
如今网络环境面临着越来越高量级的攻击,攻击方成本降低而T级别攻击频繁发生,2020年记录到了2.3T级别的攻击,今年这一记录又被刷新,未来随着计算资源带宽增长,新的攻击记录一定也不会距离我们太远。
在亚马逊云科技看来,安全能力包括基础性能、效率、应用的弹性应对能力、冗余以及各种应用系统的隔离(缩小安全爆炸半径)。
亚马逊云的安全是无处不在的,直接体现在提供的安全产品上。目前,亚马逊云拥有五大类别近30款安全产品,五大类别包括访问控制、安全检测、设施保护、数据保护、事件响应、合规,事无巨细,覆盖全面。
亚马逊云边缘安全专家 崔俊杰,从离最终用户最近的位置,讲解亚马逊云的安全经验。在遍布在全球的节点上,首先要有Shield防御,再有WAF,保护分布在全球近300多个分布节点。经过边缘CDN产品CloudFront,保护亚马逊云上资源。
边缘安全的第一道防线——Shield,也就是防御DDOS的设施。在最初,亚马逊云科技使用的是采购的防御设备,它是手工的,无法作为对外出售的产品。
当时在创建DDoS防御产品的时候,Shield服务的发起人做了非常困难的一个决定:不能采取类似于清洗中心这种集中式的设计,因为流量的走向不是那么直接。这就意味着需要在每个PoP节点都安排DDoS防御服务集群的设施。
最后,亚马逊云科技选择自研集群完成这一目标,而这些集群需要用一个“脑袋”来指挥,300多个遍布全球的节点都是非常大体量的 DDoS防御节点,需要用一个“大脑”指挥,难度极高,但团队最终完成了目标。亚马逊云科技的客户得以享受T级别DDoS防御能力。亚马逊云科技 DDOS防御容量伴随云设施共同扩展。全球设施的防御设施总容量超过100T,并在不断增长中。
第二个保护边缘的产品是Route53的DNS的托管服务,最值得称道的是它的隔离分布管理能力。崔俊杰说,创建一个DNS托管域你会得到4个服务器派别组(stripe),每一个派别组都有不同的顶级域名,有自己独立的运维流程,在给用户分配不同的服务器提供DNS服务时,亚马逊云科技使用了类似于洗牌(shuffle sharding)的技术,使得每2个用户重复使用一台服务器的可能性降到一个非常低的程度,这样一来,万一有一个用户被攻击,其他相邻的用户服务不会受到影响。
在实践过程中,无论是CDN产品还是Route53,经常发现一个攻击出现,一组服务器被攻陷的情况,攻击转向备用服务器,备用服务器就垮了。洗牌技术就是为了这种情况来发明的。当然对运维人员来说,这会带来一些运维的额外工作,在确定哪台服务器服务特定客户时,往往需要经过技术人员通过数据库检查,才能找到所有维护路径。这一过程尽管繁琐,但带来的价值就是让Route53尽可能达到服务可靠性100%的SLA。亚讯云科技深知,DNS的安全非常重要,一旦遭受攻击,带来的影响会非常大。
在运维流程方面,亚马逊云科技严格遵守流程隔离的准则,简单说就是永远不要在同一时刻改动两个数据中心的策略,对于Route53,具体来说就是:永远不会同一时刻去改变两个服务器派别组,使用这样严格策略管控使得人为造成的意外降到最低。
CloudFront是亚马逊云科技的CDN产品,它使用了Latency based 网络,让访问者通过离他最近的CloudFront pop节点获取内容。大节点,弹性是其优势。
亚马逊全球网络边缘,2020年8月时还只有216个PoP节点,一年的之后的2021年,PoP节点数量增加到超过310个,增长超过40%。每一个PoP的增加,都会引入新的DDOS防御能力的增长。
* 亚马逊云科技最新的PoP节点分布请参考下面链接:
https://aws.amazon.com/cn/cloudfront/features/?whats-new-cloudfront.sort-by=item.additionalFields.postDateTime&whats-new-cloudfront.sort-order=desc#Global_Edge_Network
CloudFront由于有cache请求的需要,需要做TLS 卸载,也就是解密的,所以是一个非常好的检查恶意请求的位置(后面我们会讲到WAF如何在这个位置进行检查)。在CloudFront的访问控制方面,有四个方面的限制:
如通过请求头和访问控制列表来限制,内容保护可以使用url,COOKIE签名的方式让Cloudfront只把缓存内容分发给带有合法url或者COOKIE签名字符串的请求者。
区域限制访问,在保护源站方面可以S3源站只响应对应的Cloudfront分发点发出的回应。
在加密方面,HTTPS协议一直在不断演进。在证书管理,加密算法选择TLS会话协商和规范以及最新的TLS1.3协议方面。Cloudfront一直在紧跟网页传输协议的发展。
同时,CloudFront和亚马逊云科技的产品集成一直都是非常紧密的连接。Route53和Cloudfront都是边缘应用最早投产的两个服务。他们是在自研的分布式Shield的产品之前就已经拥有了大量的客户。在为这些客户运营的过程中,亚马逊云科技了解到了客户的需求,并用自己的方法重新发明了解决方法。
Amazon WAF,一款恰到好处的防护产品,它能够无缝地防护CDN的产品,负载均衡器的产品,API网关,APPSync。当我们用户的应用从DNS到了CDN,DDOS的大流量攻击得到控制;SSL的加密流量里仍然会见到攻击;有时攻击的流量也不可小看。
这个过程当中,解密,检查恶意内容,限定bot访问频度。这个检查应用层攻击的组件要怎样和已有的计算设施相配合。才能使得获得安全的同时不用做性能的妥协呢?
答案是网页应用防火墙-也就是WAF必须部署在云边缘,利用Cloudfront解密以后对内容进行过滤。所有的WAF节点和Cloudfront一起分布在云边缘,这个结果就是今天看到的亚马逊云科技的WAF.。
想象一下,分布全球的近300个PoP节点里的WAF能够使用一致的过滤策略,共同过滤特定客户的应用流量。保持稳定的同时获得通过分布处理而汇聚的巨大的过滤吞吐能力。这个重新设计的架构显然不是最容易的技术路线。但却是亚马逊云科技在自己作为云用户的过程中,认为最合理的一种设计。
崔俊杰介绍了亚马逊WAF的四大优点:
配置简便: 不改变现有架构即可部署, 不用配置TLS/SSL或DNS
管理成本低: 可以使用亚马逊托管规则,可以使用CloudFormation 模板部署。内置SQLi/XSS 检测
可定制的安全: 高度灵活的规则引擎,可以在个位数毫秒级别的延时内完成网页请求检查
获取第三方的规则: 您可以在亚马逊云市场中找到行业领先的安全供应商提供的规则进行部署
之后,崔俊杰介绍了亚马逊云科技今年推出的新产品——自动应用层DDOS缓解,该产品能够在订阅了Shield之后,根据Shield的流量判断以及WAF Log日志的判定进行智能推算,推算以后能够在用户应用层的WAF增加一条WAF的规则,以自动托管规则的模式出现,取代人为操作。用户可以选择对这条规则采取计数模式进一步观察,或者直接选择阻断模式来进行积极防御,减少后台服务器由于攻击引起的负荷。
第二个新产品是Captcha的功能,CC攻击是国内用得比较频繁的词,它类似于应用层压力攻击。对CC攻击的防御,目前通过特征去匹配越来越困难,所以需要人机图灵测试完成这一操作。当攻击发生后,达到一定量级或确定需要进入防御模式时,打开Captcha人机测试功能,用户访问时需要去经过一道“人类智商检测程序”,相当于WAF的高容量高分布式的环境当中去实现了传统的“人机验证”。
崔俊杰表示,WAF相关产品体现了亚马逊云产品的DNA,就是不让安全产品成为一个瓶颈,要维持高效架构的理念,要使产品能够按需使用。
除上述云边缘安全产品,亚马逊云科技还提供Lambda、Functions、Global Accelerator等。
Lambda相当于CDN附加的边缘计算能力,可以对经过CloudFront的流量进行一些处理。CloudFront 的Functions是个更便宜、更高效的类Lambda的产品,但限制相对多一些,它能完成一些更轻量级的计算的功能。从而提供给用户更高效的选择。而Global Accelerator则是一款类似于Anycast的加速产品。
Lambda Edge其实能够跟CloudFront有机结合在一起,它可以在用户请求、回源请求、回源响应以及对用户响应的过程里都加入客户对于最终用户的行为的控制、统计的功能,这是边缘计算的一种表现形式。
亚马逊云科技边缘这些技术组合中最有代表的,崔俊杰认为是使用Lambda实现WAF的自动化。
当WAF托管规则不够用的时候,通过Lambda分析日志来去灵活判定出后台哪些行为是恶意的,分析出这个恶意的行为以后,再使用Lambda把规则在各个维度总结成一系列的规则,回馈到WAF的配置里,WAF每一条规则可以加入一个黑名单或者白名单列表,可以带来很好的安全防护灵活性。此外,还能够随时将用户或第三方的安全防护规则集成到亚马逊的WAF的防御体系当中,应对各种各样的攻击的变化。
Global Accelerator也是一款亚马逊云边缘产品,能够做近源加速,使用了Global Accelerator的时候,它能够让最终用户的访问请求就近进入遍布全球的PoP节点,然后借助稳定可靠的云骨干抵达客户的服务器。
最后,崔俊杰表示,包括云边缘、网络安全在内,亚马逊云科技所有产品都具备的特点,第一是良好的架构,亚马逊云科技每一件产品最终都能呈现技术的美感;第二是高性能,云计算资源和客户访问资源一直处于高速增长的状态,亚马逊云科技不希望在这个过程中产品的设计出现缺憾,使得性能受到影响。
性能跟用户的时间、金钱都有最直接的关系,永远是客户的第一追求。在安全方面,始终要考虑怎样做到恰到好处,当产品遇到不符合客户需求的场景时,亚马逊云科技可以重新发明符合需求的产品。