热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

Oracle9i数据仓库的增强及其价值

欢迎进入Oracle社区论坛,与200万技术人员互动交流进入数据仓库需要从各种不同的数据源取得各种不同的数据,并且把这些巨大数据量的数据转换成对于用户可用的数据,为企业的决策支持提供数据支持。这个过程常常被称为ETL(提

欢迎进入Oracle社区论坛,与200万技术人员互动交流 >>进入 数据仓库需要从各种不同的数据源取得各种不同的数据,并且把这些巨大数据量的数据转换成对于用户可用的数据,为企业的决策支持提供数据支持。这个过程常常被称为ETL(提

欢迎进入Oracle社区论坛,与200万技术人员互动交流 >>进入

  数据仓库需要从各种不同的数据源取得各种不同的数据,并且把这些巨大数据量的数据转换成对于用户可用的数据,为企业的决策支持提供数据支持。这个过程常常被称为ETL(提取、转换、装载)。提取过程涉及把数据从不同的来源提取出来,比如,一些服务提供商需要从上百个网站提取数据,然后生成用户可用的数据。这个过程中,最最消耗时间的部分是转换和装载数据这两个步骤,在这些步骤中,要根据现有数据指定规则,然后按照这些规则来过滤数据,并且把合格的数据装载到数据仓库里边去。而这个步骤地最大困难就是要尽量不影响数据仓库和源数据库的性能,并且对于不同的数据量能够有一定的可伸缩性,并且在最短的时间内完成。

  当前绝大多数的ETL步骤都是通过第三方工具来进行的。这些工具能够在把数据转换并装入到数据仓库之前,对数据进行一些特定的处理。当数据转换完成以后,再用Oracle的并行插入和装载工具把这些数据插入到Oracle数据库。Oracle数据库的最主要的作用是管理这些数据行、索引和约束。有些ETL过程是串行进行的,因此需要使用更多的数据库资源来进行这些转换和装载过程。如果使用这类串行装载方法的话,首先利用一些第三方工具,数据先被提取出来,然后放到一个中间过渡区域里边,在使用PL/SQL或者java 再在数据库里边进行转换,最后再把结果插入到数据库的表里边。这个复杂的过程导致了这种方法不可避免的弱点:可伸缩性差、在万一出现差错时难以控制。

  Oracle9i 引进了新的"边装载边转换"的办法来取代那些过时的串行处理步骤:先转换然后装载或者先装载然后转换。在这种新方法里,数据库参与了数据转换和装载的过程,成为了ETL过程的一个有机组成部分。而另外有些原来是必须的步骤则没有继续存在地必要了,另一些则可以得到改进。Oracle 9i提供以下功能来帮助这个转换、装载步骤更加快速而高效。

  Oracle Change Data Capture (OCDC)Framework 可以用来优化ETL过程中的数据提取这个步骤,建立一个可重复使用的执行步骤。OCDC能够捕获Oracle数据库中变化的数据。使用对称复制技术和Logminer技术,如果原始数据是来自Oracle数据库的话,那么Oracle能够很容易实现几个数据库的改变了的数据的同步化和异步化工作。对于非Oracle数据库,Oracle公司也提供了API,帮助第三方软件厂商开发工具,来实现非Oracle数据库和Oracle数据库的集成。

  External Tables这个特性能够使一些外部数据源(比如一个普通文本文件)能够像存储在Oracle数据库普通表里边的数据一样被透明地存取。这个特性的唯一限制是:这张表是只读的,不能修改。对于SQL,PL/SQL和Java程序来讲,这些虚拟表不用首先被装载到数据库里边然后才能读取。这样的话,装载和转换步骤就被集成到一起了,不再需要在数据库里边存储中间数据。

  Multi Table Insert 这是一个任何DBA和开发人员都会欣赏的新特性。在8i和以前的版本里面,想要把同样的数据插入到多张表里边,你不得不编写一个存储过程,或者执行多次SQL语句。在Oracle 9i里边,这些都可以不用了。一个SQL语句就可以解决这个问题。另外一个值得注意的新特性是Upset语句,它用一个语句提供了Update和Insert的功能,根据条件分别执行Insert或者Update语句。还有一个很有用的增强就是允许在一个Oracle数据库里边有多个Block的大小。这对于在不同Oracle数据库之间使用可移动表空间这个特性是非常关键的。从9i开始,可移动表空间的大小不一定需要是同样的块大小了。

  有了以上这些新特性以及其他一些本文没有提及的新特性之后,Oracle不仅仅适用于数据处理,也更加适用于数据仓库环境下的使用。


推荐阅读
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • SQL中UPDATE SET FROM语句的使用方法及应用场景
    本文详细介绍了SQL中UPDATE SET FROM语句的使用方法,通过具体示例展示了如何利用该语句高效地更新多表关联数据。适合数据库管理员和开发人员参考。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 使用C#开发SQL Server存储过程的指南
    本文介绍如何利用C#在SQL Server中创建存储过程,涵盖背景、步骤和应用场景,旨在帮助开发者更好地理解和应用这一技术。 ... [详细]
  • 本文探讨了适用于Spring Boot应用程序的Web版SQL管理工具,这些工具不仅支持H2数据库,还能够处理MySQL和Oracle等主流数据库的表结构修改。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 在使用SQL Server进行动态SQL查询时,如果遇到LIKE语句无法正确返回预期结果的情况,通常是因为参数传递方式不当。本文将详细探讨这一问题,并提供解决方案及相关的技术背景。 ... [详细]
  • 本文介绍如何通过创建替代插入触发器,使对视图的插入操作能够正确更新相关的基本表。涉及的表包括:飞机(Aircraft)、员工(Employee)和认证(Certification)。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
author-avatar
冭獭1314
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有