离线数仓建设

一.���据仓库分层

ODS(Operation Data Store)层：原始数据层，存放加载原始日志、数据，数据保持原貌不做处理。

DWD(Data warehouse detail)层：对ODS层数据进行清洗（去除空值，超过极限范围的数据）、维度退化、脱敏等。

DWS（data warehouse service）层：以DWD为基础，按天进行轻度汇总。

DWT（data warehouse Topic）层：以DWS为基础，按主题进行汇总。

ADS（Application Data Store）层：为各种统计报表提供数据。

单纯从技术角度数据采集，入库，合并，清晰。对数据进行计算然后提供给业务使用，对于开发人员就是读数据，写数据，对数据处理。

从数据处理角度分为离线数据处理和实时数据处理，hadoop  hive 用于离线数据处理，spark stream，flink用于实时计算。

常见的数据源于redis ，es， 关系型数据库，habase， 当然hadoop 也算一个数据库， clickhouse ，hido， tidb 等等