热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

Sybase数据仓库落户加拿大统计局

加拿大统计局(StatisticsCanada)是加拿大的一个联邦政府机构,它负责人口普查和计算,每隔五年,它都要对加拿大的两千七百万人口进行普查,并将结果提供给政府部门、研究所和

加拿大统计局(Statistics Canada)是加拿大的一个联邦政府机构,它负责人口普查和计算,每隔五年,它都要对加拿大的两千七百万人口进行普查,并将结果提供给政府部门、研究所和商业组织。发布的普查信息的准确性和及时性在许多方面影响着加拿大人的生活。 联邦政府基于普查信息对选区的划分进行确定和调整,联邦基金的分配也是以此为基础进行的。私营企业和政府部门使用这些统计信息来确定未来的运作方向。

在普查年中,大约有4万名调查人员分布到三千八百万平方英里的国土上去收集数据,再将数据集中到渥太华的总部,输入到计算机中。普查运作组对数据的编辑和发布的整个过程进行监督。最终生成的报告给政府带来的不仅是信息,还有数以百万美元计的收入,因为政府将信息出售给全国范围内的各种各样的客户。

基于已有的系统的工作

在七十年代初,Statistics Canada开发了适用于IBM MVS主机的处于业界领先地位的DBMS,用来进行原始数据的收集和输入。如今,尽管该系统仍然用于普查操作的前端,但是面对不断增长的需求,它已经显得越来越力不从心了。正如Ray Lackey(普查运作组的系统和数据库项目经理和关系数据库专家)所说:“尽管旧的软件不错,而且坚固,但是它太不灵活,管理起来也太费时间。它锁定一个面向批处理的、单用户的系统,当然就不可能有GUI和其它的工具。

创建一个适宜的解决方案

Statistics Canada邀请Sybase来帮助它实现这样的目标。Lackey说:“我们的RFI需要一个在UNIX环境下运行的数据库系统,它必须能够处理大型数据库,并满足多用户的需求。我们尝试了许多不同的系统(包括所有主要的竞争者),Sybase赢得了最终的胜利。

普查运作组在Windows环境下使用Smalltalk书写他们自己的桌面界面。它作为大型的、使用两个Sybase SQL Server 10数据库的跨表际的生成器在SGI Challenge 150s硬件上运行。前端是元数据服务器,对企业的数据进行描述,有了它,用户就能够直接在屏幕上构造他们的查询请求了。它产生一个数据库查询的C代码库,针对每一个集成的包有特定的代码,并将他们以批处理的形式发送给运行在SGI Challenge XL多处理器上的第三个SQL服务器,它能够对原始的普查数据进行访问。聚集计算的功能存储在聚集引擎中,产生的报表可以以不同的形式进行发送,如CD-ROM、磁带、磁盘,根据客户的需要而定。

该系统的核心是Electronic Warehouse,它存储以前创建的表和报表,允许用户浏览以前的查询结果,而不是每一次重新创建查询。该工具现在变得非常流行,如果用户能够找到一个已经存在的表,恰好能够满足客户的需求,那么开发时间就可以大大缩短。Lackey估计随着新的表的创建和存储,数据仓库的规模可能很快就会变成现在的三倍。

正在普查中心进行测试的一个新的开发项目使得Lackey尤其感到兴奋。他说:“渥太华的Sybase公司为将Statistics Canada作为Sybase IQ测试过程中的一个部分提供了很大的帮助。他们安排培训,为我们提供软件,并在整个过程中对我们提供支持。 Sybase IQ承诺将查询性能提高十倍或更多,而不需要添加任何硬件设备。Lackey解释说:“对于关系查询来讲,SQL Server是非常理想的,但是对于特别的分析处理来讲则不然。在1996年的普查中,Sybase IQ将以并行方式在复杂查询工作中发挥作用。最后,Lackey预计,在原始数据的层次上引进Sybase IQ,将大大提高分析的广泛性和综合性,并能获得更高的访问速度。

建立一个智能化的后台办公系统

为了使比赛组织者能更有效的进行工作,开发了一个称为SCORE!的后台办公系统,它使CFO可以管理赛事各个方面。除了全日工作人员外,还有1万2千名志愿者,单是人事管理就有很大的工作量。

SCORE!系统及其用户界面是用Sybase SQL Server和PowerBuilder开发的,它使CFO可以通过所需的人数及对工作人员和志愿者种类需要来制定比赛日程,管理者在最初面试到最后的工作指派的过程中,对工作人员和志愿者的表现进行追踪。SCORE!将监控换班情况、人员到位情况和工作语言。通过确定在给定日期的到场人数,SCORE!能为确定敏感的食品配送中心提供信息使他们能够确定食品的供应量。该应用还可查询对工作人员和志愿者着装的不同要求。

赛场管理系统有许多功能,其中包括安全性和在30天赛程中志愿者每天的工作调派。订票系统将为250万人提供比赛入场券。
;;;;;需要的信息

统计信息的编辑和发布已经流水作业化了。也许最显著的效果就在于现在客户请求能够得到快速的反馈。以往需要12周或更长时间的工作现在12小时就能够完成,积压现象基本上消失了。这就意味着可以提供更多的产品,能够使更多的请求得到处理。Lackey说;“自从1992年以来,该系统已经处理了大约15,000条查询,这在以前是不可想象的,其代价是我们无法承受的。在大型主机的情况下,每一条请求都必须由经过特殊培训的编程人员组成的小组使用第三代语言进行客户化编码。现在,用户在经过两周的培训之后就可以使用该系统了,而且他们对于他们正在进行的工作非常了解。而且,八个地区的子部门还可以分担客户请求中很大的一部分,将处理操作分散,为用户提供更近距离的服务。

Electronic Warehouse允许用户对他们自己或其他用户以前创建的信息或表进行访问,这样的访问甚至可以跨不同的普查年度进行。Lackey说:“我们对每一个单一用户的表进行存储和维护,用户在数据库中所作的每一件事都将被记住,并能够在以后进行访问。这就变成了一个知识库和一个潜在的全新的产品。我们可以对信息进行重用,这些信息对于我们来讲是无价的。

在Statistics Canada处理1996年的普查的同时,普查运作组已经放眼未来。该组织将继续向系统中引入历史数据库,同时设法开发通用界面,以便使得这项工作变得容易一些。它计划先将该应用在一些大学和图书馆试用,并进一步进行分散处理,以便提供不需要专门技术人员进行操作的工具,为更多的客户提供更优质的服务。全世界的负责进行普查的机构都将Statistics Canada看作是将信息技术引入流水线的普查操作的先锋。

加拿大统计局(Statistics Canada)是加拿大的一个联邦政府机构,它负责人口普查和计算,每隔五年,它都要对加拿大的两千七百万人口进行普查,并将结果提供给政府部门、研究所和商业组织。发布的普查信息的准确性和及时性在许多方面影响着加拿大人的生活。 联邦政府基于普查信息对选区的划分进行确定和调整,联邦基金的分配也是以此为基础进行的。私营企业和政府部门使用这些统计信息来确定未来的运作方向。
在普查年中,大约有4万名调查人员分布到三千八百万平方英里的国土上去收集数据,再将数据集中到渥太华的总部,输入到计算机中。普查运作组对数据的编辑和发布的整个过程进行监督。最终生成的报告给政府带来的不仅是信息,还有数以百万美元计的收入,因为政府将信息出售给全国范围内的各种各样的客户。
  基于已有的系统的工作

在七十年代初,Statistics Canada开发了适用于IBM MVS主机的处于业界领先地位的DBMS,用来进行原始数据的收集和输入。如今,尽管该系统仍然用于普查操作的前端,但是面对不断增长的需求,它已经显得越来越力不从心了。正如Ray Lackey(普查运作组的系统和数据库项目经理和关系数据库专家)所说:“尽管旧的软件不错,而且坚固,但是它太不灵活,管理起来也太费时间。它锁定一个面向批处理的、单用户的系统,当然就不可能有GUI和其它的工具。

创建一个适宜的解决方案

Statistics Canada邀请Sybase来帮助它实现这样的目标。Lackey说:“我们的RFI需要一个在UNIX环境下运行的数据库系统,它必须能够处理大型数据库,并满足多用户的需求。我们尝试了许多不同的系统(包括所有主要的竞争者),Sybase赢得了最终的胜利。


推荐阅读
  • Vulnhub DC3 实战记录与分析
    本文记录了在 Vulnhub DC3 靶机上的渗透测试过程,包括漏洞利用、内核提权等关键步骤,并总结了实战经验和教训。 ... [详细]
  • 本文探讨了在不同场景下如何高效且安全地存储Token,包括使用定时器刷新、数据库存储等方法,并针对个人开发者与第三方服务平台的不同需求提供了具体建议。 ... [详细]
  • 本文详细介绍了PHP中的几种超全局变量,包括$GLOBAL、$_SERVER、$_POST、$_GET等,并探讨了AJAX的工作原理及其优缺点。通过具体示例,帮助读者更好地理解和应用这些技术。 ... [详细]
  • 本文详细介绍了如何使用Linux下的mysqlshow命令来查询MySQL数据库的相关信息,包括数据库、表以及字段的详情。通过本文的学习,读者可以掌握mysqlshow命令的基本语法及其常用选项。 ... [详细]
  • 本文由公众号【数智物语】(ID: decision_engine)发布,关注获取更多干货。文章探讨了从数据收集到清洗、建模及可视化的全过程,介绍了41款实用工具,旨在帮助数据科学家和分析师提升工作效率。 ... [详细]
  • 本文深入探讨了MySQL中的高级特性,包括索引机制、锁的使用及管理、以及如何利用慢查询日志优化性能。适合有一定MySQL基础的读者进一步提升技能。 ... [详细]
  • MVC模式下的电子取证技术初探
    本文探讨了在MVC(模型-视图-控制器)架构下进行电子取证的技术方法,通过实际案例分析,提供了详细的取证步骤和技术要点。 ... [详细]
  • Hibernate全自动全映射ORM框架,旨在消除sql,是一个持久层的ORM框架1)、基础概念DAO(DataAccessorOb ... [详细]
  • 本文介绍了在Linux环境下如何有效返回命令行状态、上一级目录及快速查找头文件和函数定义的方法。包括处理长时间运行命令、编辑器退出技巧、目录导航以及文件搜索策略。 ... [详细]
  • 网络安全实验:Telnet与SSH服务对比及抓包分析
    本实验旨在对比Telnet和SSH两种安全通信协议的服务差异,并通过搭建服务器和使用Wireshark抓包工具进行详细分析。 ... [详细]
  • 本文探讨了在使用 MyBatis 进行批量数据处理时遇到的参数绑定异常问题,并提供了详细的解决方案。 ... [详细]
  • 本文详细介绍了如何在Windows和Linux系统上配置Openfire服务器,包括安装步骤、数据库配置及端口映射等关键环节。 ... [详细]
  • 将XML数据迁移至Oracle Autonomous Data Warehouse (ADW)
    随着Oracle ADW的推出,数据迁移至ADW成为业界关注的焦点。特别是XML和JSON这类结构化数据的迁移需求日益增长。本文将通过一个实际案例,探讨如何高效地将XML数据迁移至ADW。 ... [详细]
  • 本文详细介绍了如何在ARM架构的目标设备上部署SSH服务端,包括必要的软件包下载、交叉编译过程以及最终的服务配置与测试。适合嵌入式开发人员和系统集成工程师参考。 ... [详细]
  • 探索UNIX操作系统的家族树
    通过回顾历史,我们可以更好地理解技术的发展。本文将带你深入了解UNIX操作系统的起源和发展历程,揭示其在现代计算中的重要地位。 ... [详细]
author-avatar
菌挥发油
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有