热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

精选案例|优炫数据库支撑七人普项目背后的硬核技术

实现系统的高

简述

2020年11月1日,第七次全国人口普查工作进入到正式登记阶段,全国700万普查员走街串巷,完成十年一度的“大国点名”;2021年5月11日,国家统计局、国务院第七次全国人口普查领导小组办公室公布了中国人口最新数据。

人口普查与每一个中国公民息息相关。本次人口普查全面“无纸化”,除了使用电子设备采集数据、实时及时上报数据外,要在数据存储、流转、脱敏、处理分析、核查等环节都需要做大量的工作,可以说,这是一个极具技术含量的国家级任务。

优炫软件负责普查全电子化数据采集、处理、数据分析和设计开发、应用部署与技术支持工作,超过200人参与,曾封闭周期长达200多天,在人口普查项目背后以产品和技术全程护航。

项目背景

十年一度的全国人口普查是我国的重大国情国力调查。数据采集完成后,数据、应用软件、系统支撑软件、安全支撑软件需要迁移回国家统计局私有云,同时完成私有云环境适配和相关通用化改造,以及安全、系统集成、技术支持服务,为国家统计局相关调查业务开展提供支撑和保障。

项目挑战

面对一个支撑了十几亿人口的第七次全国人口普查项目应用系统,在回迁改造过程中,从业务需求来看,国家统计局要求在私有云环境上完成应用系统回迁改造、搭建系统支撑软件、配套安全支撑软件、技术支持服务,如何让系统数据同步,应用同步,并高效地运行在系统支撑软件之上,都是需要解决的现实问题。

从技术层面,要针对本地环境和私有云环境来设计安全机制和数据保护解决方案,以保证人口普查数据准确完整,构建起整套七人普私有云平台的安全屏障。

优炫方案

项目实施过程中,优炫软件采用优炫数据库、MPP分析型数据库等产品,提供包含MPP并行计算技术、列式存储的技术方案,实现了对应用系统数据处理分析,采用国产安全数据库实现数据底层加密,从而确保了系统数据的安全和服务的连续,为第七次全国人口普查数据处理工作保驾护航。

如图,系统架构主要由应用系统、应用支撑环境、数据库及缓存、应用保障体系组成。

满足信创环境适配需求

系统支撑软件回迁首先要完成对信创环境的适配,对系统支撑软件来说已适配国产化CPU、操作系统平台、中间件。

支持MPP并行计算技术,提供大规模并行处理能力

采用MPP架构设计,为大量的结构化、半结构化及非结构化数据提供存储及处理能力,在海量数据并发写入速率、压缩数据存储占用空间、并行创建索引缩短创建时间、并行查询效率等方面性能表现卓越。

支持行列混合存储,满足高性能数据分析需求

擅长分析型数据库应用场景,提供高性能数据治理、混合负载支持等能力,满足数据高性能写入与PB量级数据实时分析毫秒级别响应。

实施成果

在优炫软件技术团队的共同努力下,七人普应用系统已成功回迁至国家统计局私有云环境下,实现了业务系统的高速、稳定、安全运转。优炫数据库产品实力和优炫软件团队实力再一次得到印证和锤炼

结语

优炫软件多年深耕统计行业,对于现代化统计具有非常深入的见解。统计信息化不能只着眼于眼前,还要考虑未来的发展和应用。优炫软件核心产品数据库、数据安全、大数据分析、智能运维等在数据分析、查询和决策方面具有很强的优势,凭借多年在统计行业的信息化建设经验及与国家统计局、省、市级统计局多年的合作经验,优炫软件提供数据领域的规划、设计、开发实施和技术服务,致力于为我国的各级统计机构提供全方位的信息化服务。

-FIN-



推荐阅读
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • Android中高级面试必知必会,积累总结
    本文介绍了Android中高级面试的必知必会内容,并总结了相关经验。文章指出,如今的Android市场对开发人员的要求更高,需要更专业的人才。同时,文章还给出了针对Android岗位的职责和要求,并提供了简历突出的建议。 ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • CentOS 7部署KVM虚拟化环境之一架构介绍
    本文介绍了CentOS 7部署KVM虚拟化环境的架构,详细解释了虚拟化技术的概念和原理,包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]
  • 一句话解决高并发的核心原则
    本文介绍了解决高并发的核心原则,即将用户访问请求尽量往前推,避免访问CDN、静态服务器、动态服务器、数据库和存储,从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例,以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]
  • 本文介绍了Redis中RDB文件和AOF文件的保存和还原机制。RDB文件用于保存和还原Redis服务器所有数据库中的键值对数据,SAVE命令和BGSAVE命令分别用于阻塞服务器和由子进程执行保存操作。同时执行SAVE命令和BGSAVE命令,以及同时执行两个BGSAVE命令都会产生竞争条件。服务器会保存所有用save选项设置的保存条件,当满足任意一个保存条件时,服务器会自动执行BGSAVE命令。此外,还介绍了RDB文件和AOF文件在操作方面的冲突以及同时执行大量磁盘写入操作的不良影响。 ... [详细]
  • 本文介绍了OkHttp3的基本使用和特性,包括支持HTTP/2、连接池、GZIP压缩、缓存等功能。同时还提到了OkHttp3的适用平台和源码阅读计划。文章还介绍了OkHttp3的请求/响应API的设计和使用方式,包括阻塞式的同步请求和带回调的异步请求。 ... [详细]
  • 这是原文链接:sendingformdata许多情况下,我们使用表单发送数据到服务器。服务器处理数据并返回响应给用户。这看起来很简单,但是 ... [详细]
  • 本文介绍了新款奇骏的两个让人上瘾的功能,分别是智能互联系统和BOSE音响。通过对新款奇骏的配置和功能进行评测,探讨了这两个新增功能的使用体验和优势。此外,还介绍了新款奇骏的其他配置和改进,如增加的座椅和驾驶辅助系统,以及内饰的舒适性提升。对于喜欢音响的消费者来说,BOSE音响的升级也是一个亮点。最后,文章提到了BOSE音响的数字还原能力,以及7座版无法配备BOSE音响的原因。 ... [详细]
  • t-io 2.0.0发布-法网天眼第一版的回顾和更新说明
    本文回顾了t-io 1.x版本的工程结构和性能数据,并介绍了t-io在码云上的成绩和用户反馈。同时,还提到了@openSeLi同学发布的t-io 30W长连接并发压力测试报告。最后,详细介绍了t-io 2.0.0版本的更新内容,包括更简洁的使用方式和内置的httpsession功能。 ... [详细]
  • 基于事件驱动的并发编程及其消息通信机制的同步与异步、阻塞与非阻塞、IO模型的分类
    本文介绍了基于事件驱动的并发编程中的消息通信机制,包括同步和异步的概念及其区别,阻塞和非阻塞的状态,以及IO模型的分类。同步阻塞IO、同步非阻塞IO、异步阻塞IO和异步非阻塞IO等不同的IO模型被详细解释。这些概念和模型对于理解并发编程中的消息通信和IO操作具有重要意义。 ... [详细]
  • 企业数据应用挑战及元数据管理的重要性
    本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战,包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战,通过元数据管理可以实现数据的可见、可懂、可用,帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管,强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
author-avatar
张三三
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有