百分百源码网-让建站变得如此简单! 登录 注册 签到领金币!

主页 | 如何升级VIP | TAG标签

当前位置: 主页>网站教程>数据库> 浅谈数据仓库技术
分享文章到:

浅谈数据仓库技术

发布时间:08/01 来源:未知 浏览: 关键词:
本篇文章主要讲述了数据仓库逻辑架构设计,拥有一定的学习价值,感乐趣的伴侣可以理解一下。 本篇文章主要讲述了数据仓库逻辑架构设计,拥有一定的学习价值,感乐趣的伴侣可以理解一下。

离线数据仓库平常基于维度建模理论来构建,离线数据仓库平常从逻辑上进行分层,主要出于下列考虑:

1、隔离性:会员运用的应当是数据团队精心加工后的数据,而不是来自于业务系统的原始数据,这样做的益处一是,会员运用的是精心预备过的、标准的、洁净的、从业务视角的数据。非常容易了解和运用。二是要是上游业务系统产生改革甚至重构(比方表构造、字段、业务含义等),数据团队会负责处置所有这些变化,最小化对下流会员的影响。

2、机能和可为保护性: 专业的人做专业的事,数据分层使得数据的加工根本都在数据团队,从而雷同的业务逻辑不消反复施行,节俭了响应的存储和盘算开销。此外数据分层也使得数据仓库的保护变得清晰和便利,每层只负责各自的任务,某层的数据加工涌现题目,只需要修改该层即可。

3、标准性:关于一个企业和组织来说,数据的口径非常重要,大家议论一个目标的时候,必需基于一个明白的、公认i的口径,此表面、字段以及目标必需进行标准。

4、ODS层:数据仓库泉源系统的数据表平常会原封未动地存储一份,这称为ODS(Operation Data Store)层, ODS层也时常会被称为预备区(Staging area),它们是后续数据仓库层(即基于Kimball维度建模生成的事实表和维度表层,以及基于这些事实表和明细表加工的汇总层数据)加工数据的来源,同时ODS层也存储着历史的增量数据或全量数据。

5、DWD和DWS层:数据仓库明细层(Data Warehouse Detail , DWD)和数据仓库汇总层(Data Warehouse Summary, DWS)是数据仓库的主题内容。DWD和DWS层的数据是ODS层经过ETL清洗、转换、加载生成的,并且它们平常都是基于Kimball的维度建模理论来构建的,并通过一致性维度和数据总线来保障各个子主题的维度一致性。

6、利用层(ADS):利用层主如果各个业务放或者部门基于DWD和DWS创立的数据集市(Data Mart,DM),数据集市DM是相关于DWD和DWS的数据仓库(Data Warehouse, DW)来说的。个别来说,利用层的数据来源于DW层,但准则上不允许直接拜访ODS层。此外,比拟DW层,利用层只包括部门或由于方本人体贴的明细层和汇总层数据。

想理解更多技术教程,请一定要关注百分百源码网哦!

以上就是浅谈数据仓库技术的细致内容,更多请关注 百分百源码网 其它相干文章!

打赏

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

百分百源码网 建议打赏1~10元,土豪随意,感谢您的阅读!

共有155人阅读,期待你的评论!发表评论
昵称: 网址: 验证码: 点击我更换图片
最新评论

本文标签

广告赞助

能出一分力是一分吧!

订阅获得更多模板

本文标签

广告赞助

订阅获得更多模板