2020-07-10
阅读量:
1126
数据中台之数据开发
数据开发可以理解为数据汇聚和数据资产的一个桥梁。何为数据资产？数据资产是有价值的数据。而数据汇聚是原始数据，业务人员一般是难以使用的。原始数据-->有价值的数据，是需要一个过程的。那么就是让数据开发模块来完成这个过程。
数据开发是一整套数据加工及管控的工具，包括离线开发，智能调度，实时开发，人工智能等。
举个例子，某公司想知道广告投放的效益，而原始数据包括埋点数据，用户注册数据，用户消费数据等，是不是需要整理一个sql，跑一个广告效益报表呢？毫无疑问需要。那么我们就可以通过智能调度平台，定时跑出业务需要的数据；也可以通过实时流计算，实时展示业务需要的数据。这都是属于数据开发模块的功能。
离线计算：计算推荐使用Spark\Hive。调度平台可以使用Azkaban、Oozie、EasySchedule。
实时计算：推荐使用Flink、SparkStructStreaming、SparkStreaming、Storm
人工智能：推荐使用TensorFlow、Spark ML
数据开发模块适合对象是数据开发、算法建模人员，提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具，方便使用，提升效率。他们可以依赖于数据开发模块提供的基础功能，快速把数据加工成对业务有价值的形式，提供给业务使用。
24.3632
4
1
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论