2018-10-20
阅读量:
898
Executor/Reciever的容错问题解决。
spark streaming可以通过多种方式作为数据sources（包括kafka），输入的数据通过executor中的receivers接收，复制后存储于spark中（为了faultolerance，默认复制到两个spark executors），如果数据复制完成，receivers可以知道，并通知kafka中更新offsets到zookeeper中。这样当receivers在接收数据过程中crash掉，不会有数据丢失，receivers没有复制的数据，当receiver恢复后重新接收即可。
0.0000
0
1
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论
液冷服务器
2023-10-19
0条评论