数据库技术
数据库技术（Database Technology）
目录
|
什么是数据库技术
数据库技术是信息系统的一个核心技术。是一种计算机辅助管理数据的方法，它研究如何组织和存储数据，如何高效地获取和处理数据。是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用这些理论来实现对数据库中的数据进行处理、分析和理解的技术。即：数据库技术是研究、管理和应用数据库的一门软件科学。
数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。
数据库技术研究和管理的对象是数据，所以数据库技术所涉及的具体内容主要包括：通过对数据的统一组织和管理，按照指定的结构建立相应的数据库和数据仓库；利用数据库管理系统和数据挖掘系统设计出能够实现对数据库中的数据进行添加、修改、删除、处理、分析、理解、报表和打印等多种功能的数据管理和数据挖掘应用系统；并利用应用管理系统最终实现对数据的处理、分析和理解。
数据库技术的背景
数据库技术产生于20世纪60年代末70年代初,其主要目的是有效地管理和存取大量的数据资源.数据库技术主要研究如何存储,使用和管理数据. 近年来,数据库技术和计算机网络技术的发展相互渗透,相互促进,已成为当今计算机领域发展迅速,应用广泛的两大领域.数据库技术不仅应用于事务处理,并且进一步应用到情报检索,人工智能,专家系统,计算机辅助设计等领域.
数据库的基本概念
数据库技术涉及到许多基本概念,主要包括:信息,数据,数据处理,数据库,数据库管理系统以及数据库系统等。
数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。
数据库技术的发展与应用
从20世纪60年代末期开始到现在，数据库技术已经发展了30多年。在这30多年的历程中，人们在数据库技术的理论研究和系统开发上都取得了辉煌的成就，而且已经开始对新一代数据库系统的深入研究。数据库系统已经成为现代计算机系统的重要组成部分。
数据库技术与信息技术
信息技术(Information Technology，IT)是当今使用频率最高的名词之一，它随着计算机技术在工业、农业以及日常生活中的广泛应用，已经被越来越多的个人和企业作为自己赶超世界潮流的标志之一。而数据库技术则是信息技术中一个重要的支撑。没有数据库技术，人们在浩瀚的信息世界中将显得手足无措。
数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始，计算机应用从科学研究部门扩展到企业管理及政府行政部门，人们对数据处理的要求也越来越高。1968年，世界上诞生了第一个商品化的信息管理系统IMS(Information Management System)，从此，数据库技术得到了迅猛发展。在互联网日益被人们接受的今天，Internet又使数据库技术、知识、技能的重要性得到了充分的放大。现在数据库已经成为信息管理、办公自动化、计算机辅助设计等应用的主要软件工具之一，帮助人们处理各种各样的信息数据。
数据库技术的应用及特点
数据库最初是在大公司或大机构中用作大规模事务处理的基础。后来随着个人计算机的普及，数据库技术被移植到PC机(Personal Computer，个人计算机)上，供单用户个人数据库应用。接着，由于PC机在工作组内连成网，数据库技术就移植到工作组级。现在，数据库正在Internet和内联网中广泛使用。
20世纪60年代中期，数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱，常常发生应用不能提交的情况。20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法，推动了关系数据库的发展和应用。1979年，Ashton-Tate公司引入了微机产品dBase Ⅱ，并称之为关系数据库管理系统，从此数据库技术移植到了个人计算机上。20世纪80年代中期到后期，终端用户开始使用局域网技术将独立的计算机连接成网络，终端之间共享数据库，形成了一种新型的多用户数据处理，称为客户机/服务器数据库结构。现在，数据库技术正在被用来同Internet技术相结合，以便在机构内联网、部门局域网甚至WWW上发布数据库数据。
数据库技术发展的四个方向
- 规模会向两头发展—大的越来越大，小的越来越小。所谓大的，指的是企业级数据库的规模。10年前，数据库存储的数据大都以GB为基准衡量，几十GB就已经非常庞大。而现在，只广东移动每个月新增的数据量，就已经以TB衡量，不出3年，很多企业要存储的数据就要达到PB级。数据量越来越大，需要更大的数据库做支撑，这就是数据库的发展方向之一。另一方面，数据库也会越来越小。现在，Sybase的数据库已经安装在高档的Casio手表中了，这些手表中记录的有天气情况、气压、佩带者的血压、心跳等数据。这种数据库并不要求数据存储量大，但是要求在低计算量的情况下反应快，而且能够适应外界环境的变化。
- 存储方式从行到列的改变。以前数据库都是以行的形式存储的，理由很简单，用户需要的是对单条数据的读取和存储。而现在，单纯的数据记录已经不足以支撑企业发展了，企业更需要的是数据分析和决策支持。那么，单纯看一条记录没有任何意义，而是要把所有数据的某一项都统计出来进行分析，这就是列的概念。以中国移动为例，上亿个用户，每个月上TB的数据，哪些是VIP用户，该如何根据他们的需求提供专有服务，对于那些动感地带的用户，到底应该制定哪些优惠政策，除了看话费，是不是还能挖掘出他们的消费特点，进行更有针对性的业务推广活动?这些，就不是看一条数据的问题，而需要频繁对列进行操作。我预计，不出半年，各大数据库厂商都会推出以列为存储方式的数据库。
- 非结构化数据仍然不能纳入数据库中。说到这里，可能大家都认为我在逆潮流而动，现在很多数据库厂商都可以接受图像、视频等非结构化数据了，Sybase怎么还要死守着结构化数据呢?其实我认为，非结构化数据要想进入数据库，仍然需要结构化，只是这种结构化的方法各厂商不一样，而且相比以前有了很大的进步和提高。以前我们图片的记录方式是记录它的文件名，如果文件名中提到了某个人的名字，那么在整个数据库查询的时候，就可以把这个图片找到。而这是非常不科学的，因为很多非结构化数据的文件名起的并不可能完全。那么，现在大家把非结构化的数据变得结构化，其实就是在用结构化的数据描述这张图片，比如用点和位置来记录这张图片的每个像素。而一旦需要做查询的时候，可以根据像素的组合记录来比对，把符合比对要求的数据全部筛选出来。这样就把非结构化数据以结构化的方式纳入数据库中了，并能接受查询、检索等操作。
- 数据库和数据仓库会分开。很多数据库厂商认为，数据库一个就行，一专多能，既能用它进行实时交易，也能用它来进行数据分析。但是，其实很多用户现在在前台需要数据库提供实时交易功能，需要有很快的响应速度，而在后台，则需要设立一些规则进行数据分析和商务智能分析。Sybase就认为，这两个数据库应该是两种格式，毕竟它们的功能不一样。因此，从产品设置上，Sybase有交易型数据库和分析型数据库两种。
数据库技术发展历史
数据模型是数据库技术的核心和基础，因此，对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程，数据库技术从开始到现在短短的30年中，主要经历了三个发展阶段：第一代是网状和层次数据库系统，第二代是关系数据库系统，第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透、有机结合，成为当代数据库技术发展的重要特征。
第一代数据库系统
第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理系统IMS。20世纪60年代末70年代初，美国数据库系统语言协会CODASYL(Conference on Data System Language)下属的数据库任务组DBTG(Data Base Task Group)提出了若干报告，被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术，是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟，开发了许多商品化的数据库系统，它们都是基于层次模型和网状模型的。
可以说，层次数据库是数据库系统的先驱，而网状数据库则是数据库概念、方法、技术的奠基者。
第二代数据库系统
第二代数据库系统是关系数据库系统。1970年IBM公司的San Jose研究试验室的研究员Edgar F. Codd发表了题为《大型共享数据库数据的关系模型》的论文，提出了关系数据模型，开创了关系数据库方法和关系数据库理论，为关系数据库技术奠定了理论基础。Edgar F. Codd于1981年被授予ACM图灵奖，以表彰他在关系数据库研究方面的杰出贡献。
20世纪70年代是关系数据库理论研究和原型开发的时代，其中以IBM公司的San Jose研究试验室开发的System R和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会，因此，人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的，其中涌现出了许多性能优良的商品化关系数据库管理系统，如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面，成为实现和优化信息系统的基本技术。
第三代数据库系统
从20世纪80年代以来，数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地，并在应用中提出了一些新的数据管理的需求，推动了数据库技术的研究与发展。
1990年高级DBMS功能委员会发表了《第三代数据库系统宣言》，提出了第三代数据库管理系统应具有的三个基本特征：
- 应支持数据管理、对象管理和知识管理。
- 必须保持或继承第二代数据库系统的技术。
- 必须对其他系统开放。
数据库技术发展的趋势
下一代数据库技术的发展主流
针对关系数据库技术现有的局限性 ,理论界现在主要有三种观点 :
- 面向对象的数据库技术将成为下一代数据库技术发展的主流
部分学者认为现有的关系型数据库无法描述现实世界的实体 ,而面向对象的数据模型由于吸收了已经成熟的面向对象程序设计方法学的核心概念和基本思想 ,使得它符合人类认识世界的一般方法 ,更适合描述现实世界。甚至有人预言 ,数据库的未来将是面向对象的时代。
- 面向对象的关系数据库技术
关系数据库几乎是当前数据库系统的标准 ,关系语言与常规语言一起几乎可完成任意的数据库操作 ,但其简洁的建模能力、有限的数据类型、程序设计中数据结构的制约等却成为关系型数据库发挥作用的瓶颈。面向对象方法起源于程序设计语言 ,它本身就是以现实世界的实体对象为基本元素来描述复杂的客观世界 ,但功能不如数据库灵活。因此部分学者认为将面向对象的建模能力和关系数据库的功能进行有机结合而进行研究是数据库技术的一个发展方向。
- 面向对象数据库技术
面向对象数据库的优点是能够表示复杂的数据模型 ,但由于没有统一的数据模式和形式化理论 ,因此缺少严格的数据逻辑基础。而演绎数据库虽有坚强的数学逻辑基础。
但只能处理平面数据类型。因此 ,部分学者将两者结合 ,提出了一种新的数据库技术——演绎面向对象数据库 ,并指出这一技术有可能成为下一代数据库技术发展的主流。
数据库技术发展的新方向
非结构化数据库是部分研究者针对关系数据库模型过于简单 ,不便表达复杂的嵌套需要以及支持数据类型有限等局限 ,从数据模型入手而提出的全面基于因特网应用的新型数据库理论。他们认为这种数据库的最大区别就在于它突破了关系数据库结构定义不易改变和数据定长的限制 ,支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理 ,在处理连续信息 (包括全文信息 )和非结构信息 (重复数据和变长数据 )中有着传统关系型数据库所无法比拟的优势。但研究者认为此种数据库技术并不会完全取代现在流行的关系数据库 ,而是它们的有益的补充。
数据库技术发展的又一趋势
有学者指出 :数据库与学科技术的结合将会建立一系列新数据库 ,如分布式数据库、并行数据库、知识库、多媒体数据库等 ,这将是数据库技术重要的发展方向。其中 ,许多研究者都对多媒体数据库作为研究的重点 ,并认为多媒体技术和可视化技术引入多媒体数据库将是未来数据库技术发展的热点和难点。
部分学者在对各个数据库厂商的发展方向和应用需求的不断扩展的现状进行分析的基础上 ,提出数据库技术及市场在向数据仓库和电子商务两个方向不断发展的观点。他们指出 :从去年开始 ,许多行业如电信、金融、税务等逐步认识到数据仓库技术对于企业宏观发展所带来的巨大经济效益 ,纷纷建立起数据仓库系统。在我国提供大型数据仓库解决方案的厂商主要有Oracle、IBM、Sybase、CA及Informix等厂商 ,已经建设成功并已收回投资的项目主要有招商银行系统和国信证券系统等。目前 ,国内外学者对数据仓库的研究正在继续深入。与此同时 ,一些学者将数据库技术及市场发展的视角瞄准电子商务领域 ,他们认为 :现在的信息系统逐渐要求按照以客户为中心的方式建立应用框架 ,因此势必要求数据库应用更加广泛地接触客户 ,而Internet给了我们一个非常便捷的连接途径 ,通过Internet我们可以实现所谓的One One Marketing和One One business,进而实现E business。因此 ,电子商务将成为未来数据库技术发展的另一方向。
- 面向专门应用领域的数据库技术
许多研究者从实践的角度对数据库技术进行研究 ,提出了适合应用领域的数据库技术如工程数据库、统计数据库、科学数据库、空间数据库、地理数据库等。这类数据库在原理上也没有多大的变化 ,但是它们却与一定的应用相结合 ,从而加强了系统对有关应用的支撑能力 ,尤其表现在数据模型、语言、查询方面。部分研究者认为 ,随着研究工作的继续深和数据库技术在实践工作中的应用 ,数据库技术将会更多朝着专门应用领域发展。