详解数据仓库和数据库的区别

详解数据仓库和数据库的区别一、数据仓库什么是数据仓库数据仓库Data Warehouse,可简写为DW或DWH,数据仓库是为了企业所有级别的决策制定计划过程提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业 ,为需要指导业务流程改进、监视时间成本质量以及控制等数据仓库能干什么举几个栗子年度销售目标的制定需要根据以往的历史报表进行决策不能随便制定。优化业务流程例如某电商平台某品牌的手机在过去5年主要的的购买人群的年龄在什么年龄段在那个季节购买量人多这样就可以根据这个特点为目标人群设定他们主要的需求和动态分配产生的生产量和仓库的库存。数据仓库的特点数据仓库是面向主题的。与传统的数据库不一样数据仓库是面向主题的那什么是主题呢首页主题是一个较高乘次的概念是较高层次上企业信息系统中的数据综合归类并进行分析的对象。在逻辑意义上他是对企业中某一个宏观分析领域所涉及的分析对象。说人话就是用户用数据仓库进行决策所关心的重点方面一个主题通常与多个操作信息型系统有关而操作型数据库的数据组织面向事务处理任务各个任务之间是相互隔离的数据仓库是集成的。数据仓库的数据是从原来的分散的数据库数据mysql等关系型数据库抽取出来的。操作型数据库与DSS决策支持系统分析型数据库差别甚大。第一数据仓库的每一个主题所对应的源数据在所有的各个分散的数据库中有许多重复和不一样的地方且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起第二数据仓库中的综合数据不能从原来有的数据库系统直接得到。因此子在数据进入数据仓库之前必然要经过统一与综合这一步是数据仓库建设中最关键最复杂的一步所要挖成的工作有要统计源数据中所有矛盾之处如字段的同名异议、异名同义、单位不统一字长不统一等。进行数据的综合和计算。数据仓库中的数据综合工作可以在原有数据库抽取数据时生成但许多是在数据仓库内部生成的即进入数据仓库以后进行综合生成的。数据仓库的数据是随着时间的变化而变化的。数据仓库中的数据不可更新是针对应用来说的也就是说数据仓库的用户进行分析处理是不进行数据更新操作的。但并不是说在从数据集成输入数据仓库开始到最后被删除的整个生存周期中所有的数据仓库数据都是永远不变的。数据仓库的数据是随着时间变化而变化的这是数据仓库的特征之一。这一特征主要有以下三个表现数据仓库随着时间变化不断增加新的数据内容。数据仓库系统必须不断捕捉OLTP数据库中变化的数据追加到数据仓库当中去也就是要不断的生成OLTP数据库的快照经统一集成增加到数据仓库中去但对于确实不在变化的数据库快照如果捕捉到新的变化数据则只生成一个新的数据库快照增加进去而不会对原有的数据库快照进行修改。数据库随着时间变化不断删去旧的数据内容 。数据仓库内的数据也有存储期限一旦过了这一期限过期数据就要被删除。只是数据库内的数据时限要远远的长于操作型环境中的数据时限。在操作型环境中一般只保存有6090天的数据而在数据仓库中则要需要保存较长时限的数据例如510年以适应DSS进行趋势分析的要求。数据仓库中包含有大量的综合数据这些综合数据中很多跟时间有关如数据经常按照时间段进行综合或隔一定的时间片进行抽样等等。这些数据要随着时间的变化不断地进行从新综合。因此数据仓库的数据特征都包含时间项以标明数据的历史时期。数据仓库的数据是不可修改的。数据仓库的数据主要提供企业决策分析之用所涉及的数据操作主要是数据查询一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容是不同时点的数据库快照的集合 以及基于这些快照进行统计、综合和重组的导出数据而不是联机处理的数据。数据库中进行联机处理的书库进过集成输入到数据仓库中一旦数据仓库存放的数据已经超过数据仓库的数据存储期限这些数据将从当前的数据仓库中删去。因为数据仓库只进行数据查询操作所以数据仓库当中的系统要比数据库中的系统要简单的多。数据库管理系统中许多技术难点如完整性保护、并发控制等等在数据仓库的管理中几乎可以省去。但是由于数据仓库的查询数据量往往很大所以就对数据查询提出了更高的要求他要求采用各种复杂的索引技术同时数据仓库面向的是商业企业的高层管理层他们会对数据查询的界面友好性和数据表示提出更高的要求二、数据仓库和数据库的区别想了解区别之前我们需要了解三个概念数据库软件、数据库和数据仓库是什么数据库软件:是一种软件并不是链接数据库的图形化客户端。用来实现数据库逻辑过程属于物理层。数据库:是一种逻辑概念用来存放数据的仓库通过数据库软件来实现。数据库由很多表组成表是二维的一张表里面有很多字段。字段一字排开对数据就一行一行的写入表中。数据库的表在于能够用二维表现多维的关系。如oracle、DB2、MySQL、Sybase、MSSQL Server等。数据仓库是数据库概念的升级。从逻辑上理解数据库和数据仓库没有区别都是通过数据库软件实现存放数据的地方只不过从数据量来说数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析辅助领导做决策在IT的架构体系中数据库是必须存在的必须要有地方存数据。比如现在的网购等电商。物品的存货多少货品的价格用户的账户余额之类的。这些数据都是存放在后台数据库中。或者最简单的理解我们现在的微信、微博和QQ等账户和密码。在后台数据库必须是一个user表字段起码有两个吗即用户名和密码然后我们的数据就一行一行的存在表上面。当我们登录的时候我们填写了用户名和密码这些数据就会回传到回台去去跟表上面的数据匹配匹配成功了就能登录。匹配不成功就会报错这就是数据库数据库在生产环境就是用来干活的。凡是跟业务有关应用挂钩的我们都使用数据库。数据仓库是BI下的其中一种技术。由于数据库跟业务应用挂钩的所以一个数据库不可能装下一家公司的所有数据。数据库的表设计往往是针对某一个应用进行设计的。比如刚刚的登录功能这张user表上就只有这两个字段没有别的字段了。到那时这张表符合应该没有问题但是这张表不符合分析。比如我想知道在哪个时间段用户的量最多哪个用户一年购物最多诸如此类的指标。那就要从新设计数据库的表结构了。对于数据分析和数据挖掘我们引入了数据仓科概念。数据仓库的表结构是依照分析需求分析维度分析指标进行设计的。数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。操作型处理叫联机事务处理OLTPOn-Line Transaction Processing也可以称面向交易的处理系统它是针对具体业务在数据库联机的日常操作通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发的支持用户数等问题。传统的数据库系统作为数据管理的主要手段主要用于操作型处理。分析型处理叫联机分析处理OLAPOn-Line Analytical Processing一般针对某些主题历史数据进行分析支持管理决策。| 操作型处理 | 分析型处理 || — | — || 细节的 | 综合或者提炼的 || 实体-关系E-R模型 | 星型模型或雪花模型 || 存储瞬间数据 | 存储历史数据不包含最近的数据 || 可更新的 | 只读、只追加 || 一次操作一个单元 | 一次操作一个集合 || 性能要求高响应时间短 | 性能要求宽松 || 面向事务 | 面向分析 || 一次操作数据量小 | 支持决策需求 || 数据量小 | 数据量大 || 客户订单、库存水平和银行账户查询 | 客户收益分析、市场细分 |三.尾巴1.如有错误欢迎大家指出我会及时更正有什么不懂也可以留言提问互相交流吗。2.也许大家觉得这没什么但是我会认真对待把它当成我的笔记、心得、这样才能提升自己。欢迎访问我的csdn博客《网络安全从零到精通全套学习大礼包》96节从入门到精通的全套视频教程免费领取如果你也想通过学网络安全技术去帮助就业和转行我可以把我自己亲自录制的96节 从零基础到精通的视频教程以及配套学习资料无偿分享给你。网络安全学习路线图想要学习 网络安全作为新手一定要先按照路线图学习方向不对努力白费。对于从来没有接触过网络安全的同学我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线大家跟着这个路线图学习准没错。配套实战项目/源码所有视频教程所涉及的实战项目和项目源码学习电子书籍学习网络安全必看的书籍和文章的PDF市面上网络安全书籍确实太多了这些是我精选出来的面试真题/经验以上资料如何领取