高坤：国泰君安云平台的建设及实践

6月14日，在由金科创新社携手IBM联合举办的“2018新一代金融云平台（上海）沙龙”上，来自国泰君安的云计算负责人高坤就“国泰君安的云计算实践”与我们分享了国泰君安云平台的建设路线及实践特性。

以下内容为高坤先生本次演讲实录：

大家下午好，我主要负责主机、存储和云平台的工作。接下来我给大家介绍一下我们国泰君安整个建设的路线和云平台所具备的特性。

云计算技术发展很快，刚才李总也介绍了，云平台除了开源，包括容器编排都有不同的容器技术，我们主要考虑的是怎样与工作模式结合，更好地保持云平台的稳定性。

国泰君安云平台建设发展路线及特性

我们国泰君安从2013年开始做云平台的建设，当时所有的开发测试资源环境都是由开发人员各自负责。13年我们通过整合测试资源环境，通过虚拟化技术搭建了全仿真测试系统。14年我们完成了国家云平台课题验收，构建了以开源Cloudstack技术的云管理平台，我们最早是从14年就开始做前端的云平台管理，主要通过和OA对接，通过云管理平台实现自服务申请及流程审批。16年，我们部署Openstack开发测试环境，云管理平台进行升级开发实现异构资源池统一管理及全流程化申请、自动化部署及管理。去年到今年我们一直在做两地三中心及IDC机房的云资源池建设，及新架构的云管理平台开发。

国泰君安云管理平台介绍：

云平台建设原则

整个云平台建设原则还是以低TCO实现性能最大化，同时提升业务连续性，考虑为例业务的快速灵活扩展以及方便的运维和管理。真正的TCO和其他的行业不一样，

首先，证券行业和其他行业不同，它可能在不可预期的某在一个阶段，由于消息面的相关因素，会呈现交易量的爆发式的增长，所以云平台需要具备弹性伸缩，按业务需要，能自动、高效、妥善地扩展不同层次的资源，同时对业务系统保持透明。

第二，需要集中管控，因为现在的数据中心很多，有生产的主数据中心，还有同城的灾备、互联网区域的各托管机房，我们都是通过统一管理的方式进行管理，在南方和外高桥以容灾环境为主，今年5月份通过自动化切换在灾备云环境完成公司的灾备演练。

第三，异构兼容，平台开放，我们不被特定品牌绑定，降低首次虚拟化风险和平台整体拥有成本，为未来混合云模式打下基础。

第四，安全可靠、灵活调整，我们根据需求定制安全等级，保证运行在云平台上的所有资源的安全和稳定。

第五，快速交付，主要的目的是让客户可以自主的申请，完成生命周期，可以自动调度得更快速。

第六个是降低成本和节能高效。

云管理平台功能架构

说一下云管理平台，包括与Itil流程，不同地域、异构资源池的自动化匹配及一些云服务对接的工作。说这个的目的是为了统一管理异构。新架构云管理平台是基于微服务化，通过框架实现自动注册与服务的调度，云管理平台能够实现业务模块横向扩展。

接下来是云运维，我们CMP管理平台和自动化平台、监控平台进行对接，主要是做云主机的自动化配置，包括操作系统基线配置、应用软件安装等。Zabbix主要是对虚机和主机的阈值监控。最早的云管平台把所有的工单、查询等数据写在一个数据库中，但是经过两三年的发展，数据量越来越大，就发现在做资源更新、网络调整、云主机查询或者是虚机自服务的操作速度特别慢，所以这次新架构调整上，数据存储选择把数据分拆。redis主要用于资源数据缓存，热点数据查询，包括资源、业务热点数据查询；mysql主要用于资源数据存储，包括日志、工单、配置、报表的查询；Els用于计费数据的存储查询，zabbixDB用于监控数据存储查询。除此之外还有上层的数据运营，这是和管理相关的东西，用户的管理、住户的管理、项目管理、标签的管理、地域管理等等各种不同的管理模块都是通过微服务框架做的。我们希望从申请到最后的批准、实施的整个流程是全自动化的。

云管理平台架构特点及优势

最终，新的云管理平台希望：

1.所有的业务支撑横向扩展，性能支持横向扩展。

2.前后台均采用异步操作，第三方平台执行效率不影响云管本身操作的流畅性。

3.性能Redis，单点登陆，session共享，热点数据缓存。

4.可配置化的数据标签。

云主机的生命周期管理

这是整个云主机的生命周期管理，包括对云主机的重启、管理等等都可以进行运维和操作。这是我们前端的软件，可以和我们一体化运维平台对接，实现应用场景及软件的自动化安装及业务部署。

改版后的数据字典

这是本次改版之后的数据字典，以前我们参数都写在程序代码里面，这次我们通过一定的方式可以进行相应的调整和编辑。这是我们自己做的监控图形，这是鉴于生产数据中心ceph监控报表，因为我们底层从最开始的实施到现在我们坚持的都是开源的方式，我们用的还是开源的分布式存储架构来做的。最终就是想通过应用使用者通过自服务的方式申请流程，基础架构和管理，基础架构是我们来做所有底层的管理，最终实现自动交付。

云数据中心资源池化建设

第三个方面是我们整个云数据中心资源池的建设。云数据中心有两地三中心及各个托管IDC中心，不同的数据中心，不同的逻辑区域，我们采用了不同的资源池部署方式。在生产中心资源池的架构分了4个逻辑区域分别是前后台应用，交易和非交易类业务，不同的逻辑区域采用的不同的资源池部署模式。

在同城和异地灾备，资源池分了3个逻辑区域，分别是前台应用，包括互联网生产、呼叫中心生产、互联网灾备、业务支撑灾备等多种形式。后台应用分为综合业务灾备，还有核心业务灾备，二者中间是逻辑隔离。第三个资源池是测试环境，包括开发测试环境和新技术试验区。容器平台现在已经在开发测试环境上线应用。整个容器发布和业务系统的微服务改造需要业务开发人员配合，我们现在在容器这块走得比较慢，只有四五个应用在做改造，主要是在算法交易低频交易系统、移动APP等系统上做了容器化部署和微服务改造。

资源池部署网络架构

这个是我们整个资源池网络的部署架构，不管超融合还是集中存储或者是分布式的部署方式，各个网络层面都是通过万兆交换机互联来进行数据流传输，在分布式架构中，业务数据流万兆交换机通过端口trunk的方式用于虚机的业务流量，存储数据流万兆交换机用于分布式存储群集内部数据流，互联万兆交换机用于计算节点和存储节点互联，识别存储。接下来讲的是不同资源可用的布局设计，由三机柜组成的模块化单元：

第一个是通过分布式虚拟资源池布局，每个模块（三机柜)规划三个虚拟机资源池，初始为每个资源池三个节点，后续逐步进行扩容，应用系统的集群或主备机分别打散在不同资源池中，避免一个资源池故障导致所有应用节点不可用的情况发生。

存储双活的资源池部署方式，目的是保证业务高可用、数据不会有所丢失。每个模块(四机柜)规划一个虚拟机资源池，初始必须购买集中存储设备并进行存储双活配置，后续逐步按模块进行计算资源和存储扩容。

还有一种是超融合部署方式，每个模块（三机柜)规划三个虚拟机资源池，初始为每个资源池三个节点，后续逐步进行扩容，应用系统的集群或主备机分别打散在不同资源池中，避免一个资源池故障导致所有应用节点不可用的情况发生。同时不同资源池可以采用不同品牌超融合方案达到异构冗余。

我们针对不同应用类型、环境、安全合规做了一些资源匹配和逻辑隔离，按要求在业务系统自助申请时，自动匹配的相应业务类型的资源池进行部署。