数据仓库ods层和dw层的区别

2023-04-05 15:19 综合百科 0阅读 投稿:小七


先看一下数据中心的整体架构以及数据流向:

数据仓库ods层和dw层的区别图1

DB 是现有的数据来源,可以为mysql、SQLserver、文件日志等,为数据仓库提供数据来源的一般存在于现有的业务系统之中。
ETL的是 Extract-Transform-Load 的缩写,用来描述将数据从来源迁移到目标的几个过程:

  1. Extract,数据抽取:把数据从数据源读出来。
  2. Transform,数据转换:把原始数据转换成期望的格式和维度。
    如果用在数据仓库的场景下,Transform也包含数据清洗,清洗掉噪音数据。
  3. Load 数据加载:把处理后的数据加载到目标处,比如数据仓库。
  4. ODS(Operational Data Store) 操作性数据:是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,ODS的数据周期一般比较短;也就是原始数据的保存区域,存储来自各业务系统(消息队列)的原始数据。如:电商网站的访问日志(埋点的时候是以JSON存储),物联网终端设备实时发送的数据等原始数据直接存储在数据仓库的ODS层;ODS的数据最终流入DW。
  5. DW (Data Warehouse)数据仓库,是数据的归宿,这里保持这所有的从ODS到来的数据,并长期保持,而且这些数据不会被修改。
  6. DM(Data Mart) 数据集市:为了特定的应用目的或应用范围,从数据仓库中独立出来的一部分数据,也可称为主题数据,面向应用。
声明:若水百科所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系youzivr@vip.qq.com