2.4 离线数仓—数据采集模块总结
发布时间
阅读量：
阅读量
离线数仓—数据采集模块总结
-
前言
-
一、数据采集模块整体架构图
-
二、日志数据采集
-
- 1.日志数据采集流程图
-
三、业务数据采集
-
- 1.业务数据采集流程图
-
-
- 1）全量表同步说明
-
- 2）增量表同步说明
前言
数据采集模块已经全部完整，这里对数据采集模块做一个总结。
一、数据采集模块整体架构图
数据采集模块整体架构图如下：
数据采集模块又可以划分为两部分，第一部分是前端埋点用户日志行为数据的采集；第二部分是业务数据的采集。
二、日志数据采集
1.日志数据采集流程图
三、业务数据采集
1.业务数据采集流程图
1）全量表同步说明
特别需要主要的是：生成一天的数据导入一次
2）增量表同步说明
需要注意的是：
1）首日同步使用maxwell-bootstrap命令，需要指明maxwell的config.properties文件路径，因此需要先进行配置。
2）首日同步写入HDFS路径上的时间就是执行bootstrap的时间。
3）在真实生产环境中，每日同步写入HDFS路径上的时间是数据发生变动的时间（也是maxwell生成数据里的ts字段的时间），这是很正确的时间，因为实际上就是当天的数据发生了变化传入了HDFS中当天日期的路径。
4）但是如果，本项目中，在今天2022-02-17使用模拟生成数据的jar包，想要生成2020-06-14这个日期的时间。然而实际上maxwell记录的变更的数据里的ts就是当前的系统时间2022-02-17，数据将会写入到HDFS的2022-02-17的文件夹里（这个是maxwell规定的）。
全部评论 (0)
还没有任何评论哟~