热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

精选案例|优炫数据库支撑七人普项目背后的硬核技术

实现系统的高

简述

2020年11月1日,第七次全国人口普查工作进入到正式登记阶段,全国700万普查员走街串巷,完成十年一度的“大国点名”;2021年5月11日,国家统计局、国务院第七次全国人口普查领导小组办公室公布了中国人口最新数据。

人口普查与每一个中国公民息息相关。本次人口普查全面“无纸化”,除了使用电子设备采集数据、实时及时上报数据外,要在数据存储、流转、脱敏、处理分析、核查等环节都需要做大量的工作,可以说,这是一个极具技术含量的国家级任务。

优炫软件负责普查全电子化数据采集、处理、数据分析和设计开发、应用部署与技术支持工作,超过200人参与,曾封闭周期长达200多天,在人口普查项目背后以产品和技术全程护航。

项目背景

十年一度的全国人口普查是我国的重大国情国力调查。数据采集完成后,数据、应用软件、系统支撑软件、安全支撑软件需要迁移回国家统计局私有云,同时完成私有云环境适配和相关通用化改造,以及安全、系统集成、技术支持服务,为国家统计局相关调查业务开展提供支撑和保障。

项目挑战

面对一个支撑了十几亿人口的第七次全国人口普查项目应用系统,在回迁改造过程中,从业务需求来看,国家统计局要求在私有云环境上完成应用系统回迁改造、搭建系统支撑软件、配套安全支撑软件、技术支持服务,如何让系统数据同步,应用同步,并高效地运行在系统支撑软件之上,都是需要解决的现实问题。

从技术层面,要针对本地环境和私有云环境来设计安全机制和数据保护解决方案,以保证人口普查数据准确完整,构建起整套七人普私有云平台的安全屏障。

优炫方案

项目实施过程中,优炫软件采用优炫数据库、MPP分析型数据库等产品,提供包含MPP并行计算技术、列式存储的技术方案,实现了对应用系统数据处理分析,采用国产安全数据库实现数据底层加密,从而确保了系统数据的安全和服务的连续,为第七次全国人口普查数据处理工作保驾护航。

如图,系统架构主要由应用系统、应用支撑环境、数据库及缓存、应用保障体系组成。

满足信创环境适配需求

系统支撑软件回迁首先要完成对信创环境的适配,对系统支撑软件来说已适配国产化CPU、操作系统平台、中间件。

支持MPP并行计算技术,提供大规模并行处理能力

采用MPP架构设计,为大量的结构化、半结构化及非结构化数据提供存储及处理能力,在海量数据并发写入速率、压缩数据存储占用空间、并行创建索引缩短创建时间、并行查询效率等方面性能表现卓越。

支持行列混合存储,满足高性能数据分析需求

擅长分析型数据库应用场景,提供高性能数据治理、混合负载支持等能力,满足数据高性能写入与PB量级数据实时分析毫秒级别响应。

实施成果

在优炫软件技术团队的共同努力下,七人普应用系统已成功回迁至国家统计局私有云环境下,实现了业务系统的高速、稳定、安全运转。优炫数据库产品实力和优炫软件团队实力再一次得到印证和锤炼

结语

优炫软件多年深耕统计行业,对于现代化统计具有非常深入的见解。统计信息化不能只着眼于眼前,还要考虑未来的发展和应用。优炫软件核心产品数据库、数据安全、大数据分析、智能运维等在数据分析、查询和决策方面具有很强的优势,凭借多年在统计行业的信息化建设经验及与国家统计局、省、市级统计局多年的合作经验,优炫软件提供数据领域的规划、设计、开发实施和技术服务,致力于为我国的各级统计机构提供全方位的信息化服务。

-FIN-



推荐阅读
  • 本文探讨了如何在日常工作中通过优化效率和深入研究核心技术,将技术和知识转化为实际收益。文章结合个人经验,分享了提高工作效率、掌握高价值技能以及选择合适工作环境的方法,帮助读者更好地实现技术变现。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 网络运维工程师负责确保企业IT基础设施的稳定运行,保障业务连续性和数据安全。他们需要具备多种技能,包括搭建和维护网络环境、监控系统性能、处理突发事件等。本文将探讨网络运维工程师的职业前景及其平均薪酬水平。 ... [详细]
  • 深入解析 Apache Shiro 安全框架架构
    本文详细介绍了 Apache Shiro,一个强大且灵活的开源安全框架。Shiro 专注于简化身份验证、授权、会话管理和加密等复杂的安全操作,使开发者能够更轻松地保护应用程序。其核心目标是提供易于使用和理解的API,同时确保高度的安全性和灵活性。 ... [详细]
  • 本文深入探讨了 Redis 的两种持久化方式——RDB 快照和 AOF 日志。详细介绍了它们的工作原理、配置方法以及各自的优缺点,帮助读者根据具体需求选择合适的持久化方案。 ... [详细]
  • FinOps 与 Serverless 的结合:破解云成本难题
    本文探讨了如何通过 FinOps 实践优化 Serverless 应用的成本管理,提出了首个 Serverless 函数总成本估计模型,并分享了多种有效的成本优化策略。 ... [详细]
  • 福克斯新闻数据库配置失误导致1300万条敏感记录泄露
    由于数据库配置错误,福克斯新闻暴露了一个58GB的未受保护数据库,其中包含约1300万条网络内容管理记录。任何互联网用户都可以访问这些数据,引发了严重的安全风险。 ... [详细]
  • 在计算机技术的学习道路上,51CTO学院以其专业性和专注度给我留下了深刻印象。从2012年接触计算机到2014年开始系统学习网络技术和安全领域,51CTO学院始终是我信赖的学习平台。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 本文详细介绍了 MySQL 的查询处理流程,包括从客户端连接到服务器、查询缓存检查、语句解析、查询优化及执行等步骤。同时,深入探讨了 MySQL 中的乐观锁机制及其在并发控制中的应用。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 理解存储器的层次结构有助于程序员优化程序性能,通过合理安排数据在不同层级的存储位置,提升CPU的数据访问速度。本文详细探讨了静态随机访问存储器(SRAM)和动态随机访问存储器(DRAM)的工作原理及其应用场景,并介绍了存储器模块中的数据存取过程及局部性原理。 ... [详细]
author-avatar
张三三
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有